MathCodeInstruct

מה זה

הנתונים נבנו כדי ללמד מודלים לפתור בעיות מתמטיות דרך כתיבת קוד והרצתו, ולא רק באמצעות טקסט חופשי. הם שימשו לאימון סדרת המודלים MathCoder, שהתבססה במקור על Llama 2 ועל Code Llama. המאגר כולל קובץ אימון מרכזי בשם train_80k.jsonl, שמכיל עשרות אלפי דוגמאות בטווח שבין 10K ל־100K רשומות.

כרטיס המאגר בהאגינג פייס קצר במיוחד ולא מפרט את הליך הסינון, הניקוי או מקור השאלות המדויק. לפי הציטוטים האקדמיים המצורפים, המידע מתבסס על מחקרים שהשתמשו במודלים כמו GPT-4 עם Code Interpreter ואימות עצמי מבוסס קוד לצורך יצירת הנתונים. המפרסמים מציינים שיש לצטט גם את מאמרי הדאטהסטים המקוריים, מה שמעיד על כך שהשתמשו במקורות קיימים כבסיס.

מתאים ל

• אימון מודלים למתמטיקה

  כוונון עדין של מודלי קוד ושפה לפתרון בעיות חישוביות דרך כתיבת סקריפטים.

• בדיקת יכולות הסקת מסקנות

  הערכת מודלים במשימות מענה על שאלות מתמטיות הדורשות שלבי ביניים.

• שילוב קוד בפתרון בעיות

  אימון סוכנים או מודלים להשתמש באינטרפרטר כדי לפתור חישובים מורכבים.

איפה זה נופל

הכרטיס לא מספק שום מידע על הטיות, שגיאות בקוד או אופן הבדיקה של הפתרונות. כל הנתונים באנגלית בלבד, כך שאין כאן שום מענה לעברית או לבעיות מילוליות בשפות אחרות. מעבר לכך, הדרישה בתיעוד לצטט מאגרים מקוריים בלי לפרט במפורש בדף מהם אותם מאגרים מחייבת אתכם לחפור במאמר המדעי לפני שאתם משלבים את הנתונים במוצר אמיתי.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets באמצעות הנתיב MathLLMs/MathCodeInstruct. הגישה פתוחה ואינה דורשת אישור מוקדם או מפתחות מיוחדים. המידע שמור בפורמט jsonl וכולל בעיקר את קובץ האימון לצד תיעוד, כך שמדובר במבנה סטנדרטי לקריאה ועיבוד במערכות אימון של משימות טקסט ויצירת תוכן.

from datasets import load_dataset

ds = load_dataset("MathLLMs/MathCodeInstruct")

הרישיון

הרישיון המדווח במאגר הוא apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון. התנאי המרכזי הוא מתן קרדיט ושמירה על הודעות זכויות היוצרים והרישיון המקורי, לצד בקשת החוקרים לצטט את המאמרים הרלוונטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗