MATH-Reasoning-Paths
קוד פתוחWNJXYKmit2025-10-04
המאגר מרכז מסלולי חשיבה מרובים שנדגמו עבור בעיות מתוך MATH. הוא נבנה עבור מי שחוקר עקביות עצמית והסתברות פנימית במודלי שפה.
- 127הורדות בחודש
- 30לייקים
מה זה
המאגר מציע דגימות של פתרונות מפורטים עבור בעיות מתמטיות מתוך הבנצ'מרק MATH. החוקרים השתמשו בשלושה מודלים ייעודיים לתחום המתמטיקה: Deepseek-Math-RL-7B, InternLM2-Math-Plus-7B וגרסת InternLM2-Math-Plus-1.8B הקטנה יותר. מטרת האיסוף הייתה לחקור את המרחב של מסלולי ההסקה ולבדוק כיצד רמות שונות של אקראיות משפיעות על פלט המודל.
עבור כל בעיה בדאטהסט המקורי, המודלים ייצרו מאה מסלולי חשיבה שונים. הדגימה בוצעה בשלוש רמות טמפרטורה שונות: 1.0, 1.1 ו־1.3, כדי לייצר שונות גבוהה יותר בין הפתרונות. התוצרים חולקו לקובצי JSON נפרדים לפי שילוב של מודל וטמפרטורה. יש לשים לב שעבור המודל הקטן InternLM2-Math-Plus-1.8B לא קיימת דגימה בטמפרטורה 1.3, ובסך הכל המאגר כולל עשרה קבצים שונים שמתעדים את הריצות האלו.
מתאים ל
- מחקר עקביות עצמית
בדיקת הקשר בין ההסתברות הפנימית של המודל לבין אמינות הפתרון הסופי על פני עשרות דגימות שונות.
- אימון מודלי שיפוט
שימוש במסלולים השונים כדי ללמד מודל תגמול לזהות שלבי חישוב נכונים וטעויות מתמטיות.
- חקירת טמפרטורת דגימה
ניתוח ההשפעה של טמפרטורות גבוהות על יצירתיות מול אובדן דיוק במשימות פתרון בעיות מורכבות.
איפה זה נופל
המאגר מוגבל כולו לשפה האנגלית בלבד, ואין בו שום תמיכה בשפות אחרות או בעיות מנוסחות בעברית. הנתונים מבוססים על פלטים סינתטיים של מודלים, ולכן הם כוללים שגיאות חישוב, הזיות והסבר שגוי ברמות טמפרטורה גבוהות כמו 1.1 ו־1.3. אם המטרה היא לאמן מודל ולא לחקור עקביות, אי אפשר להשתמש במסלולים האלה ישירות בלי לסנן את הפתרונות השגויים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, רישיון MIT מתיר שימוש מסחרי מלא בנתונים. אפשר לאמן עליהם מודלים מסחריים או לשלב אותם במערכות פנימיות בלי תשלום תמלוגים. התנאי היחיד הוא צירוף עותק מהרישיון המקורי.
האם יש בדאטהסט תמיכה בעברית?
לא, הנתונים כולם באנגלית. הבעיות נלקחו ממאגר MATH המקורי ומסלולי ההסקה הופקו על ידי מודלים באנגלית. שימוש בעברית ידרוש תרגום מראש של השאלות ושל שלבי ההסקה.
איך הנתונים נאספו בפועל?
החוקרים לקחו את השאלות ממאגר MATH והריצו עליהן שלושה מודלים ייעודיים. עבור כל שאלה נדגמו מאה מסלולי פתרון בטמפרטורות 1.0, 1.1 ו־1.3 כדי ליצור מגוון רחב של תשובות.
מה ההבדל בין המאגר הזה לבין מאגר MATH הרגיל?
מאגר MATH המקורי מכיל רק את השאלות ואת הפתרון הנכון. המאגר הנוכחי מספק מאה ניסיונות פתרון מלאים של מודלי שפה עבור כל שאלה, כולל שגיאות ושלבי חשיבה אלטרנטיביים.
איך טוענים
אין צורך לבקש אישור גישה למאגר, הוא פתוח להורדה ישירה. הקבצים שמורים בפורמט JSON רגיל, ומחולקים לפי שם המודל וערך הטמפרטורה ששימש לדגימה, כמו למשל Deepseek-Math-RL-7B-T=1.1.json. כל רשומה כוללת את הבעיה ואת מסלולי ההסקה שנדגמו מתוכה. בגלל שמדובר במאה דגימות לכל שאלה, כדאי לקחת בחשבון שקריאת הקבצים המלאים דורשת זיכרון עבודה מתאים לפני שטוענים אותם לניתוח או לאימון.
from datasets import load_dataset
ds = load_dataset("WNJXYK/MATH-Reasoning-Paths")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי לגמרי, כולל שימוש מסחרי, שינוי של הנתונים ואימון מודלים חדשים עליהם. הדרישה היחידה היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים. אין חובה לשתף נתונים נגזרים תחת אותו רישיון, ומודל שאומן עליו אינו כפוף למגבלות הפצה מיוחדות מצד יוצרי הדאטהסט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש