MetaMath_DPO_FewShot
קוד פתוחabacusaiapache-2.02024-02-21
המאגר כולל זוגות העדפה לאימון DPO שנועדו ללמד מודלים לדייק בחישובי ביניים מתמטיים. הוא מיועד למי שרוצה למנוע ממודל להגיע לתשובה נכונה דרך צעדי חישוב שגויים.
- 178הורדות בחודש
- 28לייקים
מה זה
הנתונים מבוססים על MetaMath, הרחבה של שאלות מילוליות במתמטיקה ממאגר GSM8K. כל רשומה כוללת שאלה, תשובה מועדפת עם פתרון שלם, ותשובה דחויה. היוצרים בנו את התשובה הדחויה באמצעות שיבוש מכוון ואקראי של תוצאת חישוב באחד משלבי הביניים, בעוד התשובה הסופית נשארה זהה לחלוטין לתשובה הנכונה.
ההבדל בין שתי התשובות עדין מאוד, עם מרחק עריכה מנורמל של כ־6.5 אחוזים בלבד. המאגר מחולק לשני חלקים: סט אימון שמכיל 393,999 דוגמאות, וסט הערכה שכולל 1,000 דוגמאות בדיוק. הוא שימש במקור לפיתוח סדרת המודלים Smaug של Abacus AI באמצעות פונקציית המחיר DPOP.
מתאים ל
- אימון העדפה למתמטיקה
אימון מודלים בשיטת DPO או DPOP כדי לשרש טעויות חשבון מוסתרות בשלבי ביניים של פתרון שאלות.
- הערכת עקביות של מודלים
בדיקת היכולת של מודל קיים להבחין בין פתרון שלם ותקין לבין פתרון שמכיל חישוב ביניים שגוי.
- שילוב במיקס נתוני יישור
הוספת מנות קטנות של דוגמאות מתמטיות קפדניות לתהליך יישור כללי של מודלי שפה.
איפה זה נופל
הנתונים ממוקדים אך ורק במתמטיקה ברמת בית ספר יסודי ובאנגלית, כך שאין כאן תמיכה בעברית או במתמטיקה אקדמית מורכבת. כל השיבושים נוצרו באופן סינתטי על ידי שינוי חישוב ביניים בלי לעדכן את השורה התחתונה, מה שמייצר מצב לא טבעי שבו הפתרון שגוי לוגית אך מגיע בדרך נס למספר הנכון. מודל שיאומן רק על זה עלול להתרגל לפסול שרשראות חשיבה על בסיס טעות בודדת מבלי ללמוד לתקן את התשובה הסופית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא Apache 2.0 והוא מתיר שימוש מסחרי מלא. עליכם רק לצרף עותק של הרישיון ולתת קרדיט ליוצרים. המודלים שאתם מאמנים על בסיסו אינם כפופים לחובת שיתוף בקוד פתוח.
האם המאגר כולל תוכן בעברית?
לא, הנתונים מבוססים על הרחבות של GSM8K ומופיעים באנגלית בלבד. אם המוצר שלכם פונה לשוק המקומי ומצריך פתרון בעיות מילוליות בעברית, תצטרכו לתרגם את השאלות והתשובות או לייצר נתונים מקבילים.
איך בדיוק יצרו את התשובות הפסולות?
היוצרים לקחו פתרונות נכונים ממאגר MetaMath ושינו בהם באופן אקראי תוצאה של אחד מחישובי הביניים. את התוצאה הסופית של התרגיל הם השאירו נכונה לחלוטין. כך נוצר פתרון עם צעד שגוי בדרך, שההבדל בינו לבין המקור עומד על כ־6.5 אחוזי עריכה בלבד.
מה ההבדל בין המאגר הזה לבין MetaMath המקורי?
במאגר המקורי יש רק שאלות ותשובות נכונות שמיועדות לכוונון עדין רגיל. הגרסה הזו מיועדת ספציפית ללמידת העדפות ומספקת לכל שאלה זוג של תשובה טובה מול תשובה פגומה, כדי לאפשר אימון בשיטות כמו DPO.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה abacusai/MetaMath_DPO_FewShot. המאגר ציבורי לחלוטין ופתוח להורדה בלי צורך באישור גישה מראש. הקבצים שמורים בפורמט Parquet, מחולקים לשלושה קבצי אימון וקובץ הערכה אחד, לצד קבצי Arrow בתיקיית ההערכה. המבנה מבוסס על שדות פרומפט והשלמות מועדפות ודחויות, ומתאים ישירות לתהליכי יישור מודלים שעברו כוונון בסיסי.
from datasets import load_dataset
ds = load_dataset("abacusai/MetaMath_DPO_FewShot")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם. הרישיון דורש מתן קרדיט ושימור הודעת זכויות היוצרים המקורית, אך אינו מחייב אתכם לשחרר את המודל או את הנגזרות תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים