Vista

מה זה

המאגר מבוסס על מקורות מוכרים: הגרסה הוייטנאמית של COCO 2017, מאגר ShareGPT4V, ומאגר WIT של ויקיפדיה. הטקסטים נוצרו באמצעות Gemini Pro בשיטות הנחיה שונות, כולל שימוש בתיחום אובייקטים וכתוביות מהמקורות המקוריים, יחד עם תרגום ישיר של שיחות מתוך ShareGPT4V.

התוכן מחולק לחמישה תתי-מאגרים. שלושה מהם בנויים במבנה של LLaVA ומחולקים לאימון וולידציה: שיחות רגילות, חשיבה מורכבת ותיאורים מפורטים של תמונות. שני החלקים הנוספים כוללים גרסה מתורגמת של ShareGPT4V ודוגמאות מתוך מאגר WIT המבוססות על ויקיפדיה. בתהליך הסינון הוסרו תווים סיניים, יפניים וקוריאניים, ונזרקו דוגמאות שקיבלו מדדי פרפלקסיטי גבוהים מדי.

מתאים ל

• אימון VLM בוייטנאמית

  כוונון עדין של מודלי שפה-ראייה למענה על שאלות ותיאור תמונות בוייטנאמית שוטפת.

• הערכת יכולות שיחה חזותית

  בדיקת ביצועים של מודלים קיימים על תת-מאגרי הוולידציה של LLaVA בשפה הוייטנאמית.

• מחקרי העברת ידע ותרגום

  השוואה בין שיחות מקור באנגלית לתרגום בוייטנאמית בחלק של ShareGPT4V.

איפה זה נופל

כל הטקסט הוא תוצר סינתטי של Gemini Pro או תרגום מכונה, כך ששגיאות מודל והזיות מובנות בתוך הדאטה. בנוסף, המאגר מיועד אך ורק לוייטנאמית. אין פה נתונים בעברית או באנגלית מעבר לשדות המקור בחלק מ־ShareGPT4V, והתמונות עצמן נשענות על מקורות מערביים או גלובליים ולא בהכרח משקפות הקשר מקומי.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם המאגר והתת-מאגר הרצוי, למשל vi_llava_conversation. הנתונים שמורים בפורמט Parquet בחלוקה לקבצים, ואין צורך בהרשאת גישה מיוחדת כדי להוריד אותם. שימו לב שהקבצים מכילים מטא-דאטה, קישורים כמו coco_url ושיחות טקסט, אך הם לא כוללים את קובצי התמונות הגולמיים בתוך הטבלאות עצמן.

from datasets import load_dataset

ds = load_dataset("Vi-VLM/Vista")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, כולל אימון מודלים קנייניים, ובלבד ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗