u-math

מה זה

המאגר כולל 1,100 בעיות מתמטיות מקוריות שנכתבו על ידי מרצים למתמטיקה מתוך תוכניות לימוד אקדמיות. מומחים מ־Toloka AI ומ־Gradarius אימתו את הדגימות כדי לוודא את הדיוק שלהן. הנתונים מחולקים באופן מאוזן בין שישה תחומים מרכזיים: אלגברה, טרום-חדו"א, חשבון דיפרנציאלי, חשבון אינטגרלי, חדו"א רב-משתנית, וסדרות וטורים.

כל רשומה מגיעה במבנה של מענה פתוח שמיועד לשיפוט של מודל שפה, לצד פתרון נכון מלא. כחמישית מהשאלות, כעשרים אחוזים, הן מולטימודליות וכוללות אלמנטים חזותיים כמו גרפים ותרשימים, והשאר מבוססות על טקסט בלבד. הדאטהסט מגיע כקובץ בדיקה יחיד, ללא חלוקה לסט אימון.

מתאים ל

• הערכת מודלי שפה במתמטיקה

  בדיקת יכולות פתרון בעיות מתקדמות ברמה אקדמית על שאלות מקוריות שלא פורסמו ברשת.

• מבחן למודלים מולטימודליים

  מדידת יכולת הפענוח של שאלות המשלבות גרפים ותרשימים לצד טקסט חופשי.

• בקרת איכות לשופטי LLM

  השוואת ביצועי המודל מול פתרונות נכונים שנכתבו ונבדקו על ידי מומחי תוכן.

איפה זה נופל

המאגר כולו באנגלית בלבד ואין בו שום תמיכה בעברית. היקף הנתונים קטן מאוד, 1,100 שאלות בלבד בספליט בדיקה, כך שהוא לא מתאים לאימון מודלים אלא רק להערכה. בנוסף, פורמט התשובות הוא טקסט חופשי שדורש מודל שופט לצורך בדיקה, מה שעלול להכניס שגיאות או הטיות של המודל המעריך עצמו אם השיפוט אינו מדויק.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודה load_dataset עם השם toloka/u-math והספליט test. המאגר פתוח לחלוטין ואינו דורש אישור גישה מראש. הקבצים שמורים בפורמט parquet יחיד. השדות שחשוב לשים לב אליהם הם problem_statement שמכיל את נוסח השאלה, golden_answer עם הפתרון המלא, ו־has_image יחד עם שדה image שמחזיק מידע בינארי של התמונה במקרים של שאלות מולטימודליות.

from datasets import load_dataset

ds = load_dataset("toloka/u-math")

הרישיון

המאגר מפורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, מחקרי, שינוי והפצה, בלי דרישה לשתף את התוצרים באותו רישיון. החובה היחידה היא שמירת הודעת זכויות היוצרים והייחוס ליוצרים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗