MathVerse
קוד פתוחAI4Mathmit2024-03-21
מאגר שאלות מתמטיות חזותיות שמפרק בעיות לגרסאות שונות כדי לבדוק הבנה אמיתית של שרטוטים. הוא מיועד למי שרוצה לבחון מודלי מולטימודל בלי שהטקסט יסגיר את הפתרון מראש.
- 3,219הורדות בחודש
- 72לייקים
מה זה
המאגר כולל 2,612 בעיות מתמטיות איכותיות בנושאים שונים שמגיעות ממקורות פתוחים ברשת. מתייגים אנושיים יצרו מכל שאלה שש גרסאות נפרדות, שכל אחת מהן מכילה רמת פירוט שונה בטקסט ובשרטוט, מה שיוצר סך של 15,000 דוגמאות מבחן. המבנה הזה נועד לבודד את התלות של המודל בתמונה מול המלל הנלווה.
השאלות מכסות נושאים כמו גאומטריה של המישור, גאומטריה מרחבית ופונקציות. לצד התשובות הסופיות, היוצרים מציעים גישת הערכה מבוססת שרשרת חשיבה שמשתמשת במודל חיצוני כדי לבדוק את שלבי ההסקה ולא רק נכון או לא נכון.
מתאים ל
- בדיקת הסקת שרטוטים
בחינה מדויקת של יכולת המודל לחלץ נתונים ישירות מתרשימים גאומטריים.
- הערכת שרשרת חשיבה
מדידת איכות שלבי הפתרון של מודלי שפה חזותיים בעזרת דוגמאות מרובות שלבים.
- השוואת מודלים בלוח המובילים
הרצת סט הבדיקה המוקטן testmini והגשת התוצאות להשוואה מול פתרונות אחרים בתחום.
איפה זה נופל
כל הנתונים קיימים באנגלית בלבד ואין במאגר עברית בכלל. בנוסף, מדובר בסט שמיועד להערכה ולא לאימון רחב, כאשר הבעיות המקוריות נאספו ממקורות פומביים ולכן ייתכן שחלקן כבר דלף למידע שעליו אומנו המודלים שלכם. שיטת הניקוד המתקדמת לשרשרת ההסקה דורשת שימוש במודל חיצוני כמו GPT-4V, מה שמוסיף עלות ותלות בניתוח התוצאות.
שאלות
נפוצות
האם יש בדאטהסט תמיכה בעברית?
לא. כל השאלות, ההסברים והטקסטים הנלווים מופיעים באנגלית בלבד. אם המוצר שלכם פונה לשוק המקומי בעברית, תצטרכו לתרגם את המלל ולבדוק שמונחים מתמטיים לא נפגעו.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא MIT, והוא מאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה. הדרישה היחידה היא לשמור על הקרדיט והעתק הרישיון.
מה הופך אותו לשונה ממאגרי שאלות מתמטיות רגילים?
הייחוד הוא שש הגרסאות לכל שאלה מקורית. המבנה הזה מאפשר לבדוק האם המודל באמת מפענח את השרטוט או שהוא מנחש את הפתרון מתוך רמזים שמופיעים בטקסט השאלה.
מה צריך להוריד כדי להתחיל לעבוד?
המאגר כולל קבצי JSON ו־Parquet יחד עם קובץ images.zip שמכיל את התמונות. עבור בדיקה ראשונית אפשר להשתמש בקובצי ה־testmini שכוללים מדגם קטן יותר ומוכן להרצה.
איך טוענים
הגישה למאגר פתוחה ישירות דרך האגב בלי צורך באישור מיוחד. המאגר מכיל שבעה קבצים, כולל ארכיון תמונות בשם images.zip וטבלאות בפורמטים של JSON ו־Parquet. חלק מהקבצים מייצגים תת קבוצה בשם testmini, כולל גרסה של טקסט בלבד, שמיועדת להערכה מהירה ולשליחת תוצאות ללוח המובילים.
from datasets import load_dataset
ds = load_dataset("AI4Math/MathVerse")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. הרישיון לא מחייב שיתוף באותם תנאים, ואינו מטיל מגבלות על מודלים שנבדקים או מאומנים מולו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש