MetaMathQA
קוד פתוחmeta-mathmit2023-09-21
מאגר שאלות מתמטיות מורחב שנועד לשפר יכולות פתרון צעד אחר צעד במודלי שפה. הוא מבוסס כולו על הרחבות סינתטיות של סטים מוכרים, בלי לגעת בסט הבדיקה המקורי.
- 118,620הורדות בחודש
- 473לייקים
מה זה
המאגר מכיל הרחבות של בעיות מתמטיות שמקורן בסט האימון של שני מאגרים מוכרים, GSM8K ו־MATH. כל רשומה כוללת שדה בשם original_question שמאפשר לעקוב אחרי הבעיה המקורית שממנה נוצרה ההרחבה. המטרה המרכזית באיסוף הייתה לייצר שאלות ופתרונות שמלמדים את המודל לפרק בעיות לחלקים בשיטת שרשרת מחשבה.
היוצרים מדגישים שהנתונים נגזרו אך ורק מתוך סטי האימון המקוריים, ולא כוללים דוגמאות מתוך סטי המבחן. לפי הדוגמאות לקבצים במאגר, החומר מוגש בקובץ מרכזי בשם MetaMathQA-395K.json, מה שמעיד על היקף של מאות אלפי דוגמאות שנבנו לצורך אימון מודלים כמו MetaMath-Mistral-7B.
הכרטיס לא מפרט את שיטות הסינון המדויקות או כלי הניקוי שהופעלו על הטקסט שנוצר, אך הוא מפנה למאמר המחקרי של הפרויקט. המבנה מיועד בעיקר לאימון מודלים עם תבנית הוראה מוגדרת שמובילה את המודל לחשוב שלב אחרי שלב.
מתאים ל
- אימון מודלים למתמטיקה
שיפור יכולות החישוב וההסבר של מודלי שפה קיימים באמצעות דוגמאות שרשרת מחשבה.
- שילוב עם דאטהסטים אחרים
איחוד הדוגמאות עם סטים נוספים כמו MathInstruct ליצירת מודל רחב יותר.
- בדיקת תבניות הנחיה
בחינת תגובת המודל לתבניות חשיבה מובנות שמתחילות בהוראה לחשוב צעד אחר צעד.
איפה זה נופל
הכרטיס לא כולל מידע על סינון שגיאות מתמטיות שעלולות להיווצר בתהליך ההרחבה הסינתטי, ולכן חובה לדגום את הפלטים לפני אימון מערכת קריטית. כל השאלות מבוססות על המאגרים המקוריים באנגלית, ואין כאן נתונים בעברית כלל. בנוסף, הכרטיס אינו מפרט הטיות מובנות או כיסוי של נושאים מתמטיים מחוץ לגבולות של GSM8K ו־MATH.
אותה משפחה
MetaMathQA יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר מוגדר תחת רישיון MIT שמאפשר שימוש מסחרי חופשי לחלוטין. עם זאת, צריך לזכור שהנתונים נגזרו ממאגרי המקור GSM8K ו־MATH, ולכן כדאי לבדוק גם את תנאי המקור של הנתונים האלה אם בונים מוצר. לשימוש ישיר בקובץ עצמו אין מגבלת מסחור מצד המפרסמים.
האם המאגר כולל בעיות מתמטיות בעברית?
הדאטהסט מבוסס כולו על טקסטים באנגלית שנלקחו מסטי אימון בינלאומיים. אין בו שום תוכן מקומי או תרגום מובנה לעברית. מי שרוצה להשתמש בו לאימון בעברית יצטרך לתרגם את השאלות והפתרונות בעצמו.
איך המאגר הזה שונה מ־GSM8K הרגיל?
במקום להשתמש רק בשאלות המקוריות, החוקרים הרחיבו את סט האימון ויצרו וריאציות נוספות לכל בעיה. ההרחבות נועדו לספק למודל זוויות ניסוח שונות ופתרונות מפורטים יותר. כל הנתונים מגיעים רק מחלק האימון, כך שמבחני ההערכה המקוריים נשארים נקיים.
איך טוענים
המאגר מגיע כקובץ JSON בשם MetaMathQA-395K.json וזמין להורדה ישירה ללא צורך באישור גישה מיוחד. בתוך הרשומות תמצאו את שדה השאלה המקורית לצד ההרחבה שנוצרה עבורה. כדי להשתמש בו לאימון מודל כמו Mistral-7B, היוצרים ממליצים להשתמש בתבנית הוראה הכוללת את ההנחיה לחשוב צעד אחר צעד, ולעבוד עם קצב למידה נמוך משמעותית מזה שמשמש לאימון דגמי LLaMA.
from datasets import load_dataset
ds = load_dataset("meta-math/MetaMathQA")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלות, כל עוד שומרים על הודעת זכויות היוצרים המקורית. מודלים שתאמנו על הדאטהסט אינם מחויבים ברישיון פתוח זהה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש