Big-Math-RL-Verified-Processed
קוד פתוחopen-r1רישיון לא דווח2025-04-02
המאגר כולל בעיות מתמטיקה שעברו סינון קפדני לפי יכולת הפתרון שלהן, ומיועד לאימון מודלים בשיטות למידת חיזוק. הוא מחלק את השאלות לחמש רמות קושי שנמדדו ישירות מול מודל אמיתי.
- 596הורדות בחודש
- 33לייקים
מה זה
הנתונים מבוססים על הדאטהסט Big-Math-RL-Verified של SynthLabsAI, אבל עברו ניקוי נוסף על ידי צוות open-r1. הרשומות מייצגות בעיות מתמטיות, כאשר הסינון הראשוני העיף החוצה כל דוגמה שלא הכילה ערך בעמודת אחוז ההצלחה של מודל Llama 8B, וכן שאלות שהספרייה math-verify לא הצליחה לפרסר.
התוספת המרכזית כאן היא חלוקה מובנית לחמש רמות קושי, בדומה למבנה המוכר של מאגר MATH. החלוקה בוצעה על ידי חישוב חמישונים מתוך אחוזי ההצלחה של Llama 8B, כך שכל רמה מייצגת מדרגת קושי מוגדרת. בנוסף לתתי המאגרים הבודדים לכל רמה, הקבצים כוללים חיתוכים משולבים כמו רמות שתיים עד חמש או שלוש עד חמש, לצד קובץ שמרכז את כלל הנתונים יחד.
מתאים ל
- אימון מדורג בלמידת חיזוק
אימון מודלים על שאלות מתמטיות לפי רמות קושי עולות, מרמה ראשונה ועד חמישית.
- סינון דוגמאות קלות
שימוש בקובץ level_3_4_5 כדי לאמן רק על בעיות שמודל שמונה מיליארד התקשה לפתור.
- בדיקת יכולות פתרון
בנצ'מרק למודלים מתמטיים על פילוח מוכן ומאומת מראש באמצעות math-verify.
איפה זה נופל
הדירוג של רמות הקושי נשען באופן בלעדי על אחוזי הפתרון של מודל Llama 8B, מה שעלול לייצר הטיה סביב נקודות העיוורון הספציפיות של המודל הזה ולא לשקף קושי מתמטי אובייקטיבי. הכרטיס לא מדווח על תמיכה בשפות נוספות מעבר לאנגלית, ואין פירוט לגבי אופי הבעיות שנשרו בגלל כשלי הפירסור של ספריית math-verify. אם אתם בונים על המאגר לאימות תוצאות, תצטרכו לבדוק בעצמכם מדגמית אם הסינון לא השמיט סוגי שאלות מסוימים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כרגע לא מוגדר רישיון בדף המאגר. כל עוד לא דווח רישיון רשמי, אין היתר משפטי ברור לשימוש מסחרי, וזה עלול לסכן מוצרים שמסתמכים על אימון ממנו.
האם הדאטהסט כולל שאלות בעברית?
לא דווח על שאלות בעברית בכרטיס המאגר. הבסיס מגיע ממאגרי מתמטיקה באנגלית וכל התיעוד וספריות הבדיקה מבוססים על אנגלית.
מה ההבדל בין המאגר הזה למאגר המקורי של Big-Math?
כאן סוננו רשומות שלא היה להן ציון הצלחה של Llama 8B ודוגמאות שנכשלו בפירסור של math-verify. בנוסף, הקבצים חולקו לחמישה קבצי Parquet נפרדים לפי חמישוני קושי.
איך נקבעה רמת הקושי של כל תרגיל?
היוצרים חישבו חמישונים על פי העמודה llama8b_solve_rate. שאלות עם אחוזי הצלחה גבוהים סווגו לרמות הנמוכות, ושאלות עם אחוזי פתרון נמוכים נכנסו לרמות ארבע וחמש.
איך טוענים
המאגר שמור בפורמט Parquet בחלוקה לספריות לפי רמות הקושי השונות, לצד קוד המקור create_dataset.py ששימש לבנייתו. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. שדות המפתח שמגדירים את הסינון הם llama8b_solve_rate והנתונים המפורסרים מתוך math-verify, כך שכדאי לשים לב באיזה תת מאגר אתם בוחרים להשתמש בהתאם לרמת הקושי שאתם מחפשים לאימון.
from datasets import load_dataset
ds = load_dataset("open-r1/Big-Math-RL-Verified-Processed")הרישיון
ליוצרי המאגר אין רישיון מדווח בעמוד. במצב כזה, מבחינה חוקית אין לכם הרשאה מפורשת להשתמש בנתונים למטרות מסחריות, להפיץ אותם מחדש או לשחרר מודל שאומן עליהם בלי להסתכן. אם אתם מתכננים להשתמש בזה מחוץ למחקר פנימי או למוצר פעיל, מומלץ לבדוק את הרישיון המקורי של Big-Math-RL-Verified לפני שנוגעים בקבצים.