MathVista

מה זה

הנתונים מחולקים לשני חלקים בלבד, שניהם מיועדים למבחן. חלק ה־testmini כולל 1,000 דוגמאות לפיתוח ובדיקות מהירות, וחלק ה־test כולל 5,141 שאלות להערכה מלאה, כשתשובותיו אינן חשופות לציבור.

כל רשומה מורכבת מתמונה לצד שאלה, כאשר המשימות נעות בין שאלות רב-ברירה לשאלות פתוחות, וכוללות מטא-דאטה מפורט על מקור הנתונים. המאגר בוחן שבעה תחומי הסקה שונים, בהם אריתמטיקה, אלגברה, גיאומטריה, סטטיסטיקה, שכל ישר מספרי והסקה מדעית ולוגית.

המקורות מגוונים מאוד. היוצרים בנו שלושה מאגרים חדשים לגמרי עבור חידות חזותיות, גרפים של פונקציות ואיורים ממאמרים אקדמיים, וצירפו אליהם נתונים מעובדים מ־9 מאגרי שאלות מתמטיות ומ־19 מאגרי שאלות ותשובות חזותיות קיימים.

מתאים ל

• הערכת מודלים רב-חזותיים

  בדיקת יכולת המודל לפענח גרפים ותרשימים מדעיים ולחלץ מהם תשובה מדויקת.

• מבחן הסקה גיאומטרי ולוגי

  מדידת ביצועים של מודלי ראייה בפתרון חידות היגיון ואיורים גיאומטריים מורכבים.

• ולידציה מהירה בפיתוח

  שימוש בסט testmini כדי לקבל תמונת מצב מהירה על דיוק המודל במשימות MathQA.

איפה זה נופל

המאגר אינו מכיל נתוני אימון אלא נתוני מבחן בלבד, ולחלק הגדול של 5,141 השאלות אין פתרונות גלויים בקבצים. השפות המדווחות כוללות אנגלית, סינית ופרסית, כך שאין כאן עברית כלל. שאלות רבות נשענות על תרשימים מדעיים וגרפים ברמה אקדמית, שלא תמיד מייצגים בעיות יומיומיות במוצרים סטנדרטיים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודת load_dataset פשוטה. אין צורך לבקש אישור גישה מוקדם או להמתין. הקבצים שמורים בפורמט Parquet, לצד קובץ תמונות מכווץ וקובץ source.json שמפרט את המקורות. בכל דוגמה תמצאו את המזהה pid, שאלת הטקסט, נתיב התמונה, והתשובה עצמה שזמינה רק בחלק המצומצם.

from datasets import load_dataset

ds = load_dataset("AI4Math/MathVista")

הרישיון

התוספות של החוקרים פורסמו ברישיון CC BY-SA 4.0 הדורש ייחוס ושיתוף זהה, אך זכויות התמונות והשאלות המקוריות שייכות ליוצריהן. בנוסף, תנאי השימוש אוסרים במפורש על שימוש במאגר כסט אימון, ומאפשרים שימוש מסחרי אך ורק כסט לבדיקה והערכה.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗