RLVR-GSM-MATH-IF-Mixed-Constraints
קוד פתוחallenaiodc-by2024-11-18
המאגר מרכז דוגמאות מובנות לאימון במודל תגמול שניתן לאימות מתמטי ומבני. הוא נועד למי שרוצה לחזק מודלים בפתרון בעיות חישוביות ועמידה בהנחיות נוקשות.
- 559הורדות בחודש
- 31לייקים
מה זה
המאגר כולל שלוש חלוקות עיקריות ששימשו לאימון מודלי Tulu 3 באמצעות למידת חיזוק עם תגמולים שניתנים לאימות. החלק הראשון מכיל 7,473 דוגמאות מתוך סט האימון של GSM8k ומיועד לחישובים ובעיות מילוליות. החלק השני מביא 7,500 שאלות מתוך סט האימון של MATH עבור מתמטיקה מורכבת יותר. שני החלקים האלה הותאמו במיוחד לעבודה עם ספריית open-instruct ומכילים תשובה סופית מדויקת שמאפשרת לבדוק את נכונות הפלט באופן אוטומטי.
החלק השלישי והגדול ביותר כולל 14,973 רשומות המבוססות על שילוב של פרומפטים מתוך תערובת Tulu 2 SFT. לכל פרומפט כזה הוצמדו אילוצים אקראיים שנלקחו מתוך IFEval, במטרה לבחון עמידה בהוראות מבניות. הרשומות כוללות רשימת הודעות קלט, שדה של אמת בסיסית, סוג האילוץ, תיאור מילולי שלו, וארגומנטים טכניים שנשמרים כטקסט לצורך הרצת פונקציית האימות החיצונית בזמן אמת.
מתאים ל
- אימון בלמידת חיזוק
אימון מודלים בשיטת RLVR בעזרת תגמולים מתמטיים מוגדרים מראש.
- שיפור עמידה בהוראות
כוונון מודלים על אילוצים מבניים קשיחים שנבדקים באמצעות קוד.
- הערכת ביצועים מובנית
בדיקת יכולת החישוב והדיוק של פלט מול תשובות חד משמעיות.
איפה זה נופל
הנתונים מוגבלים לחלוטין לשפה האנגלית ומתבססים על סטים ישנים ומוכרים, מה שמגדיל את הסיכון לדליפת מידע במודלים שכבר אומנו על מבחנים אלה. בנוסף, המבנה מוטה ישירות לבדיקה מול פונקציות האימות של כלי הלימוד הספציפי, ולכן שימוש מחוץ למסגרת של open-instruct ידרוש כתיבה מותאמת של מנגנוני הבדיקה לאילוצים הללו.
שאלות
נפוצות
האם המאגר כולל דוגמאות בשפה העברית?
לא. המאגר מבוסס על סטים קיימים שכולם בנויים באנגלית בלבד. אם המטרה היא בדיקת אילוצים בעברית, תידרש התאמה ותרגום.
האם מותר להשתמש בנתונים למטרות מסחריות?
הרישיון הכללי הוא ODC-BY שדורש ייחוס, וחלק מהנתונים תחת MIT. יחד עם זאת, במאגר קיימים קבצי רישיון נוספים כמו זה של Llama 2 שמגבילים שימושים מסוימים, ולכן יש לבדוק את התנאים המשפטיים של כל רכיב.
איך מאמתים את התוצאות של הדוגמאות?
עבור השאלות המתמטיות משווים את התוצאה הסופית לשדה האמת הבסיסית. עבור שאלות האילוצים, השדה מכיל ארגומנטים המיועדים להרצה בתוך פונקציות אימות ייעודיות שבודקות עמידה בחוקי הפורמט.
איך טוענים
הנתונים יושבים בקובץ Parquet יחיד בתיקיית הדאטה, ללא צורך באישור גישה מוקדם. טוענים אותו ישירות דרך ספריית הדאטהסטים הרגילה. המבנה מיועד לעבודה ישירה מול open-instruct, והשדות הקריטיים הם messages שמכיל את היסטוריית השיחה המפורמטת, ו ground_truth יחד עם dataset שמכילים את התשובה או את הארגומנטים לבדיקת האילוץ.
from datasets import load_dataset
ds = load_dataset("allenai/RLVR-GSM-MATH-IF-Mixed-Constraints")הרישיון
המאגר מופץ תחת רישיון ODC-BY הדורש מתן קרדיט בלבד. עם זאת, יש לשים לב שהתתי מאגרים מחזיקים ברישיונות משלהם, כאשר החלקים של GSM8k ושל MATH שוחררו תחת רישיון MIT, והפרומפטים תחת ODC-BY. תיקיית המאגר מכילה גם קבצי רישיון נוספים של Llama 2 ושל AI2.