mu-math

מה זה

הנתונים מבוססים על תת קבוצה של 25 אחוז מתוך מאגר U-MATH, וכוללים 1,084 דוגמאות שנוצרו מתוך 271 שאלות מתמטיות ברמות קושי שונות. כל רשומה כוללת את ניסוח השאלה, פתרון רשמי נכון שמשמש כבסיס להשוואה, ואת הפלט שיצר אחד מארבעה מודלים מובילים: Llama-3.1 70B, Qwen2.5 72B, GPT-4o או Gemini 1.5 Pro.

התוויות נקבעו כנכונות או שגויות באמצעות שילוב של מומחי מתמטיקה מחברות Toloka AI ו־Gradarius יחד עם אימות אוטומטי פורמלי. המאגר מיועד להערכה מטא-מתמטית, ומתמקד בבדיקה האם המודל שלכם יודע לזהות פתרונות נכונים ושגויים בטקסט חופשי.

מתאים ל

• בדיקת מודלים כשופטים

  הערכת היכולת של מודל שפה לקבוע אם פתרון מתמטי מורכב הוא נכון או שגוי לפי תשובת בסיס.

• מדידת הטיות שיפוט

  בדיקה האם השופט שלכם נוטה להעדיף פלטים של מודל מסוים, כמו GPT-4o על פני Llama.

• אופטימיזציה של פרומפטים

  שיפור נוסח ההוראות לבדיקת מתמטיקה על מדגם מתוקף של מעל אלף פתרונות מאומתים.

איפה זה נופל

כל התוכן מנוסח באנגלית בלבד ואין בו תמיכה בשפות אחרות כמו עברית. עם 1,084 רשומות שמקורן ב־271 בעיות בלבד, מדובר במדגם קטן יחסית שמתאים בעיקר להערכה ולא לאימון מלא של מודלים. בנוסף, התשובות שנבדקות הופקו על ידי ארבעה מודלים ספציפיים מאוד, כך שיתכן שהן לא משקפות סגנונות כתיבה או טעויות אופייניות של מודלים קטנים יותר.

איך טוענים

טוענים את המידע ישירות בספריית datasets על ידי קריאה ל־toloka/mu-math עם הפיצול test. המאגר כולו מגיע בקובץ parquet יחיד, פתוח לחלוטין להורדה ללא צורך בהרשאה מוקדמת או מפתחות גישה. השדות החשובים לניתוח הם problem_statement שמחזיק את השאלה, golden_answer עם התשובה המאומתת, model_output שמכיל את התשובה שנבדקת, ו־label שמחזיר בוליאני של נכון או לא נכון.

from datasets import load_dataset

ds = load_dataset("toloka/mu-math")

הרישיון

המאגר מוגדר תחת רישיון MIT, מה שמתיר שימוש מחקרי ומסחרי עם חובת ייחוס בלבד. יחד עם זאת, יש סייג חשוב: הטקסטים בעמודת model_output נוצרו על ידי מודלים מסחריים כמו GPT-4o ו־Gemini וכפופים לתנאי השימוש שלהם. אם אתם מתכננים לאמן מודל מסחרי על הפלטים האלה, כדאי לוודא שתנאי החברות הללו אינם חוסמים אתכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗