MTVQA

מה זה

המאגר מציג צמדי שאלות ותשובות המבוססים על טקסטים מתוך תמונות בתשע שפות: קוריאנית, יפנית, איטלקית, רוסית, גרמנית, צרפתית, תאילנדית, ערבית ווייטנאמית. דוברי שפת אם תייגו את המידע לפי סט כללים מוגדר. הסינון האתי לשאלות ולתשובות שילב בדיקה ידנית עם סינון ממוחשב דרך GPT-4V.

מבחינת מבנה, הדאטהסט מחולק לאימון ולמבחן. חלק האימון מכיל 6,678 תמונות ו־21,829 שאלות ותשובות, וחלק המבחן מכיל 2,116 תמונות ו־6,778 שאלות ותשובות. החלוקה בין השפות אינה אחידה. גרמנית מובילה באימון עם 4,238 שאלות, בעוד תאילנדית מגיעה עם 625 שאלות בלבד.

מתאים ל

• הערכת מודלי ראייה

  מדידת יכולת של מודלים לחלץ טקסט מתמונות ולהבין שאלות בתשע שפות שונות.

• אימון הבנת טקסט בתמונה

  כוונון מודלי שפה וראייה רב לשוניים על משימות קריאת שלטים ותוויות.

• ניתוח פערים גיאוגרפיים

  בדיקת ביצועים השוואתית בין מערכות כתב מורכבות כמו ערבית ותאילנדית ללטינית.

איפה זה נופל

ההטיה הבולטת ביותר היא חוסר האיזון הקיצוני בין השפות. תאילנדית קיבלה רק 319 תמונות אימון לעומת 1,139 תמונות בווייטנאמית. עברית לא קיימת כאן בכלל, אף שיש ייצוג לערבית שמציגה ביצועים נמוכים במיוחד ברוב המודלים בלוח התוצאות. היוצרים מסירים כל אחריות לגבי דיוק הנתונים, ולכן יש לבדוק ידנית את איכות התיוג לפני שמסתמכים על המבחן.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הנתיב ByteDance/MTVQA. הגישה פתוחה לחלוטין ללא צורך באישור מיוחד מראש. המאגר בנוי מ־12 קבצים סך הכל, ומחזיק קובצי parquet מפוצלים: שבעה קבצים מיועדים לחלק האימון ושלושה למבחן. בפועל אתם מושכים תמונות לצד טקסט השאלה והתשובה. חשוב לוודא שהסביבה שלכם ערוכה לפענוח שפות עם מערכות כתב שונות כמו תאילנדית, ערבית וקוריאנית בלי לשבור את הייצוג הוויזואלי.

from datasets import load_dataset

ds = load_dataset("ByteDance/MTVQA")

הרישיון

הרישיון הוא cc-by-nc-4.0. השימוש מוגבל למטרות מחקר ואקדמיה בלבד, ואסור לכל שימוש מסחרי ישיר או עקיף. אם אתם בונים מודל או מאמנים עליו, עליכם לתת קרדיט מלא ליוצרים, ולא תוכלו לשלב את התוצרים במוצר שנמכר ללקוחות.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗