MATH-lighteval
קוד פתוחDigitalLearningGmbHmit2025-01-15
פתרונות מלאים צעד אחר צעד לבעיות מתמטיות מתחרויות כמו AMC ו־AIME. המאגר נבנה כתחליף תואם לפורמט של lighteval להערכת יכולות הסקה.
- 37,791הורדות בחודש
- 66לייקים
מה זה
המאגר מבוסס על הדאטהסט המקורי של Hendrycks ומכיל בעיות מתמטיקה אמיתיות מתחרויות תיכון שונות, כולל AMC 10, AMC 12 ו־AIME. כל רשומה כוללת את נוסח השאלה, פתרון מלא ומפורט שמשלב טקסט ונוסחאות בפורמט LaTeX, את רמת הקושי מדרגה 1 עד 5, ואת התחום המתמטי הספציפי. התשובה הסופית בכל פתרון מופיעה בתוך תגית boxed ייעודית לצורך חילוץ מהיר.
הנתונים מחולקים לשבע קטגוריות מתמטיות: אלגברה, אלגברה למתקדמים, גאומטריה, תורת המספרים, קדם אלגברה, קדם חדו"א, וספירה והסתברות. ברמת החלוקה הכוללת יש 7,500 דוגמאות בסט האימון ו־5,000 דוגמאות בסט הבחינה, וניתן למשוך את המאגר השלם או להגדיר תת קבוצה לפי נושא ספציפי.
מתאים ל
- הערכת הסקה מתמטית
בדיקת יכולת המודל לפתור בעיות מורכבות ולהגיע לתשובה סופית נכונה בתחרויות.
- אימון שרשרת מחשבה
שימוש בפתרונות המלאים צעד אחר צעד כדי ללמד מודלים להסביר את דרך הפתרון.
- אימון לפי תחום מתמטי
שליפת קונפיגורציות בודדות כמו גאומטריה או תורת המספרים למיקוד נקודתי.
איפה זה נופל
כל הטקסט והניסוחים מופיעים באנגלית בלבד, ואין כאן ייצוג לעברית או תוכניות לימודים מקומיות. הבעיות נשענות בכבדות על תחביר LaTeX מורכב, מה שמקשה על מודלים שלא עברו אימון ייעודי על סימונים כאלה. בנוסף, מדובר במתמטיקה תחרותית ברמה גבוהה מאוד, כך שהיא לא משקפת בעיות חישוב יומיומיות ולא מתאימה למי שמחפש מתמטיקה בסיסית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון שמדווח במאגר הוא MIT, והוא מתיר שימוש מסחרי מלא ללא הגבלות מיוחדות. הדרישה העיקרית היא שמירת קרדיט והצגת נוסח הרישיון המקורי לצד הקבצים. אין חובה לפתוח את הקוד של מודל שמאומן עליו תחת אותו רישיון.
האם יש בתוך המאגר שאלות בעברית?
לא, כל השאלות והפתרונות כתובים באנגלית בלבד. הנתונים מגיעים מתחרויות אמריקאיות כמו AMC ומשתמשים במונחים מתמטיים מקובלים באנגלית. אם המטרה היא הערכה בעברית, תידרש עבודת תרגום והתאמה משמעותית.
מאיפה הגיעו השאלות ואיך חילקו אותן?
השאלות נאספו מתחרויות מתמטיקה מוכרות כמו AMC 10, AMC 12 ו־AIME על ידי החוקרים של מאמר MATH המקורי. הן סווגו ידנית לחמישה שלבי קושי ולשבעה נושאים מתמטיים שונים. גרסה זו היא העתק בפורמט התואם לספריית lighteval מתוך המאגר המקורי של hendrycks/competition_math.
מה ההבדל בין המאגר הזה למאגר MATH המקורי?
התוכן המתמטי עצמו זהה לחלוטין לגרסה המקורית של Hendrycks. ההבדל היחיד הוא המבנה הטכני והקונפיגורציות שמאפשרות טעינה ישירה לספריית lighteval. המפרסמים יצרו אותו כתחליף ישיר עקב חסרונו של הדאטהסט המקורי בפורמט הזה ב־Hugging Face.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets בפורמט Parquet, ללא צורך באישור גישה מיוחד. המאגר כולל 18 קבצים המחולקים לפי הקונפיגורציות השונות, כשהשדות הקריטיים לעיבוד הם problem, solution, level ו־type. כדי להעריך ביצועים צריך לחלץ את התשובה מתוך מחרוזת ה־LaTeX המסומנת ב־boxed בתוך שדה הפתרון.
from datasets import load_dataset
ds = load_dataset("DigitalLearningGmbH/MATH-lighteval")הרישיון
המאגר מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה. נדרש לשמור על הודעת זכויות היוצרים והרישיון המקוריים בכל שימוש או הפצה של הקוד והנתונים. הרישיון חל על הדאטהסט עצמו ולא מגביל הפצה של מודלים שאומנו עליו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש