metamath-qwen2-math
קוד פתוחyingyingzhangapache-2.02024-08-19
בערך 900 אלף בעיות מתמטיקה עם פתרונות שרשרת מחשבה. מתאים למי שרוצה לאמן מודל בסיס לפתרון תרגילים ברמה גבוהה בלי לעבור דרך חישובי העדפה מורכבים.
- 681הורדות בחודש
- 33לייקים
מה זה
המאגר מורכב משני מקורות עיקריים שסוננו ועובדו מחדש. החלק הראשון נשען על פרומפטים מתוך MetaMathQA בחלוקה לגרסאות שונות של GSM ושל MATH, כמו ניסוחים מחדש והרחבות תשובה. התשובות בחלק הזה נוצרו מחדש באמצעות Qwen2-math-72-instruct, עברו דגימת דחייה, וסוננו מול קוד ההערכה הרשמי של Qwen2-Math. בסך הכל הופקו מהמקור הזה 396,410 דוגמאות מתוך 145,552 פרומפטים.
החלק השני מבוסס על NuminaMath-CoT, אבל נלקחו ממנו רק המקטעים הלא סינתטיים שמקורם בפורום aops, תחרויות amc ו־aime, תכנים סיניים לבית ספר, אולימפיאדות מתמטיקה ומאגרי gsm8k ו־math. גם עבור הדוגמאות האלה הופקו פתרונות שרשרת מחשבה באמצעות אותו מודל 72B. המאגר עצמו מחולק למספר קובצי jsonl לפי סטטוס אימות ושיטות סינון, חלקם כוללים הצבעות וחלקם דורשים סינון נוסף של תשובות ריקות לפני אימון.
מתאים ל
- אימון הוראות למודל בסיס
כוונון ישיר של מודלי שפה על פתרונות שרשרת מחשבה מתמטיים לשיפור ביצועי פתרון בעיות.
- איסוף דוגמאות לאימון העדפה
השוואת הפתרונות מרובי הדגימות בפורמט jsonl לתהליכי DPO או PPO לדיוק שלבי פתרון.
- הערכת יכולות שרשרת מחשבה
בדיקת יכולת המודל להתמודד עם שאלות תחרות מורכבות שמקורן במאגרים כמו AIME ו־AMC.
איפה זה נופל
הנתונים מיועדים למתמטיקה בלבד ואין בהם תוכן בעברית. חלק מהמקורות מגיעים ממערכת החינוך הסינית ותחרויות בינלאומיות באנגלית. המאגר כולל הוכחות מתמטיות שיוצרות רשומות ללא תשובה סופית, והיוצר מזהיר במפורש שצריך לסנן אותן עצמאית כדי לא לשבש תהליכי אימות. בנוסף, כל הפתרונות הם פלט סינתטי של מודל יחיד, כך שהטיות או טעויות שיטתיות של Qwen2-math-72B עלולות לזלוג ישירות למודל שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא Apache 2.0 והוא מתיר שימוש מסחרי מלא. צריך רק לצרף את תנאי הרישיון והודעת זכויות היוצרים המקורית בהפצה של הקבצים עצמם.
האם יש במאגר בעיות מתמטיות בעברית?
לא. המקורות מבוססים על מאגרי תחרויות ולימוד באנגלית ובסינית בלבד. אם המוצר שלכם פונה לתלמידים בישראל, תצטרכו לתרגם את השאלות והפתרונות או לאמן במקביל על דאטה מקומי.
מה ההבדל בין המאגר הזה לבין MetaMathQA המקורי?
כאן נלקחו רק הפרומפטים מתוך המאגר המקורי, והתשובות נוצרו מחדש באמצעות Qwen2-math-72-instruct. בנוסף, כל פתרון עבר סינון מחמיר של דגימת דחייה מול קוד ההערכה הרשמי.
מדוע יש צורך לסנן רשומות לפני שמתחילים באימון?
יוצר המאגר מציין כי בקובץ numina_cot_qwen2.verified.jsonl קיימות שאלות הוכחה שבהן תשובת הזהב ריקה. ללא סינון ידני של השורות האלה, תהליך האימון שלכם עלול לקלוט דוגמאות חלקיות שיפגעו בתוצאות.
איך טוענים
טוענים את הנתונים ישירות מקובצי ה־jsonl במאגר, ללא צורך באישור גישה מיוחד. המאגר מכיל שבעה קבצים, ביניהם קובצי verified שמוכנים לאימון וכאלה שמסומנים כשאריות או נטולי הצבעה. לפני שרצים לאימון, חובה לסנן מתוך הקובץ numina_cot_qwen2.verified.jsonl רשומות שבהן שדה תשובת הזהב ריק, מכיוון שיש במקור בעיות הוכחה ללא ערך סופי מספרי. האימון המדווח בוצע עם תבנית ההוראות של qwen2-math-instruct ואורך הקשר של 4096 טוקנים.
from datasets import load_dataset
ds = load_dataset("yingyingzhang/metamath-qwen2-math")הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם ולשלב אותם במודלים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. המודל שתאמנו לא חייב להיפתח תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים