MathVision
קוד פתוחMathLLMsmit2024-02-22
המאגר מרכז בעיות מתמטיות מבוססות תמונה מתחרויות אמיתיות. הוא נבנה כדי לבחון מודלי ראייה שפה במקומות שבהם מבחנים קודמים כבר נעשו קלים מדי עבורם.
- 9,775הורדות בחודש
- 171לייקים
מה זה
הנתונים כוללים 3,040 שאלות שנאספו מתחרויות מתמטיקה אמיתיות, כשלכל שאלה מצורף הקשר חזותי כמו תרשים, גרף או איור גיאומטרי. החומר מחולק ל־16 תחומי מתמטיקה שונים, בהם גיאומטריה אנליטית, טופולוגיה ותורת הגרפים, ומדורג לפי חמש רמות קושי. המשימות מורכבות משאלות רב ברירה ומשאלות פתוחות המחייבות חילוץ תשובה מספרית או טקסטואלית.
המבנה במאגר מחולק לקובץ בדיקה מלא ולקובץ בדיקה מוקטן בשם testmini. החוקרים ליקטו את השאלות במטרה להרחיב את המגוון הנושאי מעבר למה שהיה קיים במאגרים קודמים כמו MathVista, כדי להציג אתגר שבו ביצועי מודלים מובילים עדיין נמוכים משמעותית מרמת אנושית שעומדת על כ־70 אחוזים.
מתאים ל
- הערכת יכולת מתמטית חזותית
בדיקת הדיוק של מודלי ראייה שפה על שאלות תחרות מורכבות עם שרטוטים ותרשימים.
- השוואת מודלים למדדי שיא
הרצת בדיקות מול לוח התוצאות הפומבי שמתעדכן באופן שוטף עם מודלים חדשים.
- איתור כשלי הבנה גרפית
ניתוח טעויות הסקה שנובעות מפענוח שגוי של תרשימים בגיאומטריה וטופולוגיה.
איפה זה נופל
כל השאלות וההקשרים כתובים באנגלית בלבד, כך שאי אפשר להעריך כאן יכולת מתמטית בעברית או בשפות אחרות. התמונות במקור נקיות ודיגיטליות, מה שלא מייצג צילום מדף או מסך פיזי, לשם כך החוקרים נאלצו להוציא גרסה נפרדת בשם Wild. בנוסף, מדובר בדאטהסט שמיועד בלעדית להערכה ולא לאימון, עם מספר דוגמאות קטן יחסית. היו גם שגיאות נקודתיות בתשובות המקוריות שתוקנו לאורך הזמן בעזרת הקהילה.
שאלות
נפוצות
האם המאגר כולל תוכן בעברית?
לא. כל השאלות, התשובות והאיורים מבוססים על תחרויות באנגלית בלבד. אם המוצר שלכם פונה לדוברי עברית, תצטרכו לתרגם את השאלות או לייצר מאגר מקומי מקביל.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון MIT מאפשר שימוש חופשי גם למטרות מסחריות, כולל שינוי והפצה. כל מה שנדרש מכם הוא לצרף את הודעת הרישיון המקורית של היוצרים.
איך הנתונים נאספו והאם יש בהם טעויות?
החומר לוקט מתוך תחרויות מתמטיקה ברמות קושי שונות וחולק לפי נושאים. היו מקרים שבהם משתמשים מצאו שגיאות בפתרונות והן תוקנו בעדכונים מאוחרים, כך שכדאי לוודא שאתם מושכים את הגרסה העדכנית ביותר.
במה הוא שונה ממבחנים כמו MathVista?
הוא מתמקד בשאלות מתקדמות מתחרויות ומכסה 16 תחומים מתמטיים שונים, חלקם נדירים כמו תורת הגרפים וטופולוגיה. בעוד שבמאגרים ותיקים מודלים התקרבו לרמה אנושית, כאן הפער עדיין משמעותי.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה datasets של Hugging Face בפקודה אחת עם שם המאגר. אין צורך בהרשאה מוקדמת או באישור גישה. הקבצים נשמרים בפורמט Parquet בחלוקה לבדיקה מלאה ולגרסת מיני, ולצידם קיים ארכיון תמונות מכווץ. בעבודה שוטפת כדאי לשים לב לעבודה עם VLMEvalKit, שכבר כולל תמיכה מובנית במאגר לצורך חילוץ תשובות אוטומטי בעזרת מודלי שפה.
from datasets import load_dataset
ds = load_dataset("MathLLMs/MathVision")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ושילוב במערכות פנימיות בלי חובת שיתוף תחת אותו רישיון. הדרישה היחידה היא שמירה על הודעת זכויות היוצרים וכתב הוויתור המקוריים בכל עותק. מודל שתעריכו או תאמנו לא מושפע ממגבלות רישוי נגזרות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש