NuminaMath-TIR

מה זה

הצוות של AI-MO דגם כ־70 אלף בעיות מתוך מאגר קודם שלהם, NuminaMath-CoT. הם בחרו בכוונה בעיות שהתשובה הסופית שלהן היא מספרית, בעיקר מספרים שלמים, כדי להקל על בדיקה אוטומטית של נכונות הפתרון.

הפתרונות נוצרו בצורה סינתטית דרך צינור עבודה שמבוסס על GPT-4 בפורמט שמזכיר את ToRA. המודל מייצר שלב חשיבה, כותב קוד, סביבת ההרצה מריצה אותו ומחזירה תוצאה, וכך הלאה עד לתשובה הסופית.

בקרת האיכות הסתמכה על השוואת התוצאה שיצאה מהרצת הקוד לתשובת הייחוס המקורית של התרגיל. פתרונות שלא הגיעו למספר הנכון נזרקו, והתהליך חזר על עצמו שלוש פעמים כדי לוודא דיוק ועקביות בכל דוגמה.

מתאים ל

• אימון מודלים לפתרון עם קוד

  לימוד מודל שפה לכתוב קוד פייתון כדי לחשב תשובות מתמטיות ולהמשיך את ההסבר לפי התוצאה שהתקבלה.

• הערכת יכולות שילוב כלים

  בדיקת היכולת של סוכנים לזהות מתי צריך להריץ חישוב חיצוני ומתי מספיקה הסקה טקסטואלית רגילה.

• כוונון עדין למשימות תחרותיות

  אימון על בעיות מתמטיקה בסגנון תחרויות שבהן התוצאה הסופית חייבת להיות מדויקת וחד משמעית.

איפה זה נופל

הנתונים כולם באנגלית ומבוססים כמעט לגמרי על בעיות שהתשובה שלהן היא מספר שלם. אם המודל שלכם צריך להוכיח טענות גיאומטריות, להתמודד עם ביטויים אלגבריים מורכבים שלא מצטמצמים למספר, או לפתור בעיות בניסוח עברי, המאגר הזה פשוט לא ייתן לו מענה.

חיסרון נוסף נובע מזה שמדובר בדאטה סינתטי שנוצר בידי GPT-4. אם המודל ייצר קוד שעוקף את הבעיה בדרך לא יעילה או שרשרת הנמקה פגומה שהגיעה במקרה לאותו מספר שלם, הסינון האוטומטי לא בהכרח עלה על זה. תצטרכו לבדוק מדגמית את איכות ההסברים לפני שמסתמכים עליהם.

איך טוענים

הנתונים יושבים בשני קובצי Parquet עיקריים, אחד לאימון ואחד לבדיקה, כחלק ממאגר שמכיל ארבעה קבצים בסך הכל. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותם, הכל פתוח ישירות דרך הספרייה של Hugging Face.

כשאתם טוענים את הרשומות, צריך לשים לב למבנה של מסלול הפתרון שכולל טקסט, בלוקים של קוד ופלט ריצה. מומלץ לוודא שהטוקנייזר והפורמט שלכם יודעים להפריד נכון בין ההסברים לבין הקוד והתוצאות שלו לפני שמתחילים לאמן.

from datasets import load_dataset

ds = load_dataset("AI-MO/NuminaMath-TIR")

הרישיון

המאגר מופץ תחת רישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולאמן עליו מודלים חופשיים או סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף את המודלים שתאמנו תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗