MathCode-Pile
קוד פתוחMathGenieapache-2.02024-09-30
מאגר לאימון מודלים על מתמטיקה וקוד פייתון שנועד לשפר יכולות היסק חישובי. הוא מיועד למי שרוצה להמשיך אימון מקדים של מודל שפה עם דגש על פתרון בעיות דרך כתיבת קוד.
- 887הורדות בחודש
- 25לייקים
מה זה
המאגר כולל 19.2 מיליארד טוקנים שמקורם בעמודי רשת, ספרי לימוד, טקסט מסונתז וקוד מתמטי. המקורות כוללים גרסאות מסוננות של OpenWebMath ושל Common Crawl באנגלית. שמות הקבצים מראים שהחומר עבר תהליכי סינון והסרת דליפות של מבחני הערכה.
חלק מרכזי כאן מבוסס על תהליך סינתטי שבוצע באמצעות Llama-3.1-70B-Instruct. המודל חילץ שלבי היסק מתמטי וביטויי LaTeX מטקסטים, ותרגם כל שלב לקוד פייתון. כל קטע קוד הורץ בפועל, ורק קטעים שרצו בהצלחה והניבו את התוצאה המדויקת נשמרו לצד שלב ההיסק המתאים.
בגרסה שפורסמה כרגע, חלקים מהנתונים זמינים רק באופן חלקי, כולל הנתונים מתוך OpenWebMath, הרשת באנגלית והקוד המתורגם. היוצרים שחררו חלק מהרכיבים במלואם, והתחייבו לשחרור מלא בעתיד לצד קוד עיבוד שמאפשר לייצר את המאגר לבד.
מתאים ל
- אימון מקדים מתמשך
המשך אימון של מודלי שפה על טקסט מתמטי וקוד כדי לחזק יכולת פתרון משוואות.
- אימון מודלים לייצור קוד
לימוד מודלים לתרגם בעיות מילוליות וביטויי LaTeX לסקריפטים תקינים בפייתון.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של נתוני קוד שנוצרו על ידי Llama 3.1 ואומתו בריצה על ביצועי מודלים.
איפה זה נופל
הנתונים באנגלית בלבד ואין כאן נגיעה לעברית. בנוסף, המאגר לא שוחרר במלואו בעמוד וכרגע חסרים חלקים מ־OpenWebMath ומקורות הרשת. מי שרוצה את כל 19.2 מיליארד הטוקנים יצטרך להריץ את סקריפטי העיבוד בעצמו. יש גם תלות כבדה בסינתזה של Llama-3.1-70B-Instruct, כך שהטיות או סגנון החשיבה של המודל הזה מוטמעים עמוק בתוך שלבי הפתרון והקוד.
שאלות
נפוצות
האם המאגר זמין כרגע להורדה מלאה?
לא במלואו. הדאטהסט המלא כולל 19.2 מיליארד טוקנים, אבל חלקים מ־OpenWebMath, מ־Common Crawl ומהקוד המתורגם שוחררו רק חלקית. שאר החלקים שוחררו במלואם, ואת השאר אפשר לייצר עצמאית עם הקוד של החוקרים.
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי חופשי למדי בכפוף למתן ייחוס. עם זאת, חלק ניכר מהנתונים נוצר באמצעות המודל Llama-3.1-70B-Instruct, ולכן מומלץ לוודא שאין התנגשות עם תנאי השימוש של מטא.
האם יש במאגר תמיכה בעברית?
אין במאגר עברית. הנתונים מבוססים על קובצי רשת באנגלית, ספרי לימוד באנגלית, ביטויי LaTeX וקוד פייתון בלבד.
במה הוא שונה מסתם אוסף בעיות מתמטיקה?
הייחוד כאן הוא החיבור הישיר בין שלבי פתרון מתמטיים לבין קוד פייתון מקביל. כל פיסת קוד נבדקה והורצה בסביבה חיה, כך שרק קוד שעבר בהצלחה והחזיר תוצאה תואמת נכנס פנימה.
איך טוענים
הנתונים מחולקים ל־122 קבצים, רובם בתצורת jsonl דחוסה או מחולקת למקטעים כמו cc-en-math_filtered-finer. הגישה פתוחה ואין צורך לבקש אישור מיוחד כדי להוריד. טוענים אותו ישירות דרך ספריית datasets או בקריאה פשוטה של קובצי jsonl מהדיסק. השדות המרכזיים מתמקדים בטקסט ההיסק המתמטי ובקטעי קוד הפייתון שנבדקו בהרצה.
from datasets import load_dataset
ds = load_dataset("MathGenie/MathCode-Pile")הרישיון
המאגר מפורסם תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו דורש שיתוף תחת אותו רישיון. נדרש לשמור על הודעות זכויות היוצרים והרישיון המקורי. מודל שאומן על הנתונים אינו מחויב ברישיון זה, אך כדאי לזכור שחלק מהנתונים סונתזו על ידי Llama 3.1.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים