SYNTHETIC-1-SFT-Data
קוד פתוחPrimeIntellectapache-2.02025-02-20
מאגר ענק של מסלולי חשיבה שחולצו מ־Deepseek-R1 ומיועדים לאימון מודלים מבוססי היגיון. הוא מתאים למי שרוצה לשפר ביצועים במתמטיקה ובתכנות בלי לאסוף פתרונות בעצמו.
- 387הורדות בחודש
- 34לייקים
מה זה
הנתונים נוצרו באמצעות הרצה קהילתית מבוזרת מול מודל Deepseek-R1, במטרה לייצר פתרונות מנומקים לאתגרים מורכבים. האוסף מכיל 777 אלף שאלות מתמטיקה תחרותית ממאגר NuminaMath שעברו סינון אוטומטי, ועוד 144 אלף בעיות תכנות אלגוריתמיות מפלטפורמות כמו Leetcode ו־Codeforces שתורגמו לכמה שפות תכנות.
בנוסף תמצאו כאן 70 אלף משימות הנדסת תוכנה שנגזרו משינויי קוד אמיתיים בגיטהאב, 313 אלף שאלות מדעיות מ־StackExchange שדורשות הסקה ולא זיכרון יבש, ועוד 61 אלף תרגילי הבנת קוד סינתטיים. הסינון לכל חלק התבצע בעזרת כלי אימות ייעודיים, מבדיקת הרצה בקונטיינרים ועד אימות מתמטי סמבולי ושופטי שפה פנימיים.
מתאים ל
- אימון הוראות מתמטי
לימוד מודלים לפתור בעיות מתמטיקה מורכבות שלב אחר שלב באמצעות מסלולי חשיבה מאומתים סמבולית.
- שיפור ביצועי קוד
אימון מודל פיתוח על אלגוריתמים ומשימות תוכנה שנבדקו מול בדיקות יחידה אמיתיות.
- הסקה מדעית רב-תחומית
חיזוק היכולת הלוגית של מודל על שאלות הנדסה ומדע מורכבות שחולצו מקהילות מומחים.
איפה זה נופל
חלק גדול מתהליך הסינון נשען על שופטי מודל שפה, בעיקר במשימות הקוד האמיתיות ובשאלות המדעיות. שופטים כאלה עלולים לפספס שגיאות לוגיות עדינות או לקבל תשובות שנראות משכנעות אך שגויות. הנתונים ממוקדים לגמרי באנגלית ובשפות תכנות, כך שאין כאן שום כיסוי לשפה העברית. כדאי לבדוק את טיב הפתרונות באופן מדגמי לפני שמשלבים אותם באימון סופי של מודל פרודקשן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0 ומאפשר שימוש מסחרי מלא. צריך רק לשמור על תנאי הייחוס וקרדיט למפתחים. אין מגבלה על שילוב המשקולות במערכות פנימיות של חברה.
האם יש במאגר תוכן בעברית?
לא, כל הנתונים מבוססים על מקורות באנגלית ועל שפות תכנות. השאלות מגיעות מפלטפורמות בינלאומיות כמו StackExchange ו־Leetcode. אם המטרה היא התאמה לעברית, תצטרכו לתרגם את השאלות והתשובות בעצמכם.
איך אומתו התשובות שנאספו מהמודל?
כל תחום קיבל שיטת אימות שונה לפי אופי המשימה. במתמטיקה השתמשו בספריית אימות סמבולי, בתכנות הריצו את הקוד מול בדיקות יחידה בתוך קונטיינרים, ובשאר התחומים השתמשו במודל שפה כשופט מול תשובות קיימות.
ממה מורכב המאגר בפועל?
הוא כולל חמישה סוגי משימות שונים, החל ממתמטיקה תחרותית ועד פתרון באגים מגיטהאב. הנתונים מאורגנים ב־18 קבצי Parquet שמכילים שאלות יחד עם עקבות החשיבה והפתרונות המלאים של Deepseek-R1.
איך טוענים
המידע מחולק ל־18 קבצי Parquet נפרדים שיושבים בתיקיית data תחת שמות שמתחילים ב־train. הטעינה נעשית ישירות דרך ספריית datasets בלי צורך באישור גישה מוקדם או בחשבון מיוחד. כדאי להכין נפח אחסון מקומי וזיכרון עבודה מספק לפני פריסת הקבצים, משום שמדובר בכמות גדולה מאוד של דוגמאות אימון ארוכות.
from datasets import load_dataset
ds = load_dataset("PrimeIntellect/SYNTHETIC-1-SFT-Data")הרישיון
הפרויקט משוחרר ברישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר מודלים שאומנו עליו תחת אותו רישיון בדיוק. חובתכם העיקרית היא לשמור על הודעות זכויות היוצרים והייחוס המקוריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים