NuminaMath-QwQ-CoT-5M
קוד פתוחPrimeIntellectmit2025-01-22
מאגר נתונים סינתטי לאימון מודלים על שרשראות חשיבה במתמטיקה. הוא מרכז פלטים מאומתים מתוך מודל QwQ, במטרה לשפר את שלב האימון המקדים לפני למידת חיזוק.
- 1,643הורדות בחודש
- 63לייקים
מה זה
המאגר מכיל פלטים סינתטיים שנלקחו מהמודל QwQ עבור שאלות מתמטיות, לאחר תהליך אימות. המטרה של הנתונים היא לשמש כבסיס עבור שלב ה־SFT, כדי לגרום למודלים לחקות את תהליך החשיבה של מודל מורה חזק לפני שעוברים לאימון באמצעות חיזוקים בשיטת PRIME-RL.
התוכן מאורגן בפורמט Parquet ומחולק על פני 89 קבצי אימון שונים. הכרטיס אינו מפרט את השדות המדויקים בכל רשומה או את מקור השאלות עצמן מעבר לכך שמדובר בפלטים מאומתים של QwQ, אך הוא מציין שהנתונים נועדו לקצר את זמן האימון בחיזוקים באופן משמעותי.
מתאים ל
- אימון SFT למתמטיקה
שימוש כבסיס עשיר בשרשראות חשיבה סינתטיות לפני שלבי אימון מתקדמים.
- אתחול לקראת RL
הכנת מודל בסיס שיקצר את זמן הריצה באלגוריתמים של למידת חיזוק.
- חיקוי מודל מורה
אימון מודלים קטנים יותר על פלטי נימוק מאומתים של QwQ.
איפה זה נופל
הכרטיס כמעט ולא חושף פרטים טכניים על אופן האימות של הפלטים, מה שיעור השגיאות שנשאר, או מה מקור השאלות המקוריות. בנוסף, מדובר בדאטה סינתטי מובהק באנגלית שמיועד למתמטיקה תחרותית ואקדמית. אין כאן נתונים בעברית, ולא הייתי בונה על זה להבנת מלל חופשי או בעיות מילוליות מקומיות בלי בדיקה ידנית של איכות ההסברים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון המדווח הוא MIT. הוא מאפשר שימוש מסחרי מלא, כולל אימון מודלים מסחריים, בכפוף להשארת הקרדיט.
האם יש במאגר שאלות בעברית?
הכרטיס לא מזכיר עברית כלל. מדובר בחומרים מתמטיים באנגלית שנשענים על פלטי מודל QwQ ומבחנים בינלאומיים.
איך המידע נאסף ומסונן?
הנתונים הם פלטים סינתטיים של המודל QwQ שעברו תהליך אימות. הכרטיס אינו מפרט מעבר לכך את אופן הסינון הטכני.
מה המבנה שבו הקבצים שמורים?
הדאטהסט מורכב מ־89 קבצי Parquet של נתוני אימון. החלוקה לחלקים מאפשרת טעינה מקבילית או הזרמה בלי להוריד הכל בבת אחת.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה של המאגר. המידע מחולק ל־89 קבצי Parquet תחת תיקיית data, כך שלא מדובר בהורדה של קובץ בודד. אין צורך בבקשת גישה מיוחדת או באישור ידני. מומלץ לבדוק דגימה של קובץ אחד כדי להבין את מבנה העמודות המדויק לפני שמורידים את כל החלקים.
from datasets import load_dataset
ds = load_dataset("PrimeIntellect/NuminaMath-QwQ-CoT-5M")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ודורש רק שמירה על הודעת זכויות היוצרים המקורית. אין חובה לשתף מודלים שתאמנו תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש