We-Math

מה זה

המאגר כולל 6,500 בעיות מתמטיקה חזותיות, שמשלבות טקסט עם תמונות. המפתחים לא הסתפקו רק בשאלות ותשובות, אלא בנו עץ מושגים שלם שממפה את הבעיות על פני 67 מושגי ידע היררכיים ו־5 רמות עומק שונות. הרעיון הוא לפרק את תהליך הפתרון של מודלים ולהבין איפה בדיוק נשברת שרשרת ההיגיון, במקום להסתכל רק על דיוק במענה לשאלה בודדת.

הכרטיס עצמו לא מפרט מהיכן נאספו התמונות והשאלות המקוריות או באילו כלים בדיוק סיננו אותן. לצד קובצי הנתונים המרכזיים קיים קובץ שמתאר את מבנה עץ המושגים, וכן חלוקה שכוללת סט בדיקה מוקטן שמיועד להרצה מהירה של הערכות ביצועים בלי להוריד את כל הנפח בבת אחת.

מתאים ל

• הערכת מודלים רב-מודליים

  בדיקת יכולת ההסקה של מודלי שפה ותמונה בפתרון בעיות מתמטיקה שמכילות תרשימים.

• ניתוח כשלי היגיון

  איתור שלבי החשיבה שבהם מודלים נכשלים, תוך שימוש במיפוי 67 המושגים שבדאטהסט.

• מבחן ביצועים מהיר

  הרצת בדיקות השוואתיות בין ארכיטקטורות שונות באמצעות תת-הקבוצה המוכנה מראש.

איפה זה נופל

כל התוכן מוגש באנגלית בלבד, ואין פה נתונים בעברית או התאמה לשפות אחרות. מעבר לכך, הכרטיס לא מציין מאיפה נלקחו השאלות, כך שקשה לדעת אם מודלים מסחריים כבר ראו חלק מהן באימון המקורי שלהם. הנתונים מתאימים בעיקר לבדיקת מודלים ולא לאימון רחב היקף, בגלל כמות הדוגמאות המוגבלת שנעצרת באלפים בודדים.

איך טוענים

טעינת המידע נעשית דרך ספריית הדאטהסטים של הגינג פייס או בהורדה ישירה של הקבצים מהמאגר, שכולל 6 קבצים בסך הכל. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח לחלוטין להורדה. החומרים מגיעים בפורמט Parquet וגם כקובצי JSON וארכיון תמונות בפורמט ZIP. כדי להריץ הערכה, תצטרכו לעבוד מול קובצי השאלות, לחלץ את התמונות מהארכיון ולהשתמש בקובץ עץ המושגים שמגדיר את הקשרים בין השאלות.

from datasets import load_dataset

ds = load_dataset("We-Math/We-Math")

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה, מותר להשתמש במידע למחקר, לפיתוח פנימי ולהערכת מודלים באקדמיה, אך אסור לעשות בו שימוש מסחרי מכל סוג. אם אתם מתכננים לאמן עליו מודל שיימכר ללקוחות או יוטמע במוצר מסחרי, הרישיון הזה חוסם אתכם. בנוסף, חובה לתת קרדיט ליוצרים המקוריים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗