Nemotron-Cascade-SFT-Stage-2
קוד פתוחnvidiacc-by-4.02025-12-15
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מאגר ענק של כמעט שמונה מיליון דוגמאות אימון מונחה, שנבנה על בסיס תשובות ומסלולי חשיבה שנוצרו במודלים של דיפסיק. הוא מכוון למי שרוצה לשפר יכולות נימוק, תכנות והפעלת כלים במודל פתוח.
- 1,181הורדות בחודש
- 18לייקים
מה זה
הרשומות מייצגות שאלות ותשובות שנאספו מעשרות מקורות קיימים ברשת, כולל מאגרי קוד, מתמטיקה, מדעי המחשב ומשימות כלליות. התשובות עצמן סינתטיות. מקרים שדורשים חשיבה מעמיקה קיבלו עקבות חשיבה ממודל DeepSeek-R1-0528, ותשובות ישירות הופקו דרך גרסאות של DeepSeek-V3. במקרים רבים יש כמה תשובות שונות לאותה שאלה בדיוק.
המאגר מחולק לתחומים נפרדים: מתמטיקה עם כמעט שני מיליון דוגמאות, קוד עם כמיליון וארבע מאות אלף דוגמאות, שיחות כלליות, מדעים, והפעלת כלים. תחום הנדסת התוכנה מפוצל לשלוש משימות ספציפיות של איתור באגים, תיקון קוד ויצירת בדיקות. בשיחות מרובות שלבים נשמרו רק סיכומי פלט כדי לחסוך בטוקנים, ובמיקס הסופי אנשי אנבידיה הכפילו פי שלושה את המשקל של מדעים, הנדסת תוכנה ושיחות.
מתאים ל
- אימון מודלי חשיבה ופתרון בעיות
לימוד מודלים להפיק שלבי חשיבה מפורטים במתמטיקה ובקוד לפני מתן התשובה הסופית.
- שיפור יכולות הנדסת תוכנה
כוונון רשתות על משימות של איתור שגיאות, כתיבת טסטים ותיקון באגים אמיתיים בריפוזיטורים.
- אימון על הפעלת כלים ופונקציות
שימוש במאות אלפי דוגמאות כדי ללמד מודל מתי ואיך לקרוא לפונקציות חיצוניות נכון.
איפה זה נופל
כל התוכן מבוסס על שאלות ממקורות פתוחים קיימים ועל תשובות ממודלים של דיפסיק, כך שהטיות או שגיאות עובדתיות של המודלים המייצרים חילחלו ישירות פנימה. אין כאן התייחסות לשפות שאינן אנגלית, ועברית לא קיימת ברשימות המקור. בנוסף, בשיחות מרובות שלבים קוצצו תשובות העוזר לסיכומים בלבד, מה שפוגע ביכולת לאמן מודל על דיאלוג טבעי ומלא.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון המדווח הוא cc-by-4.0 ומאפשר שימוש מסחרי חופשי. התנאי המרכזי הוא מתן קרדיט ברור לאנבידיה בהתאם לדרישות הרישיון. כדאי לזכור שהפלט נוצר במודלים של דיפסיק, ולבדוק שאין לכם מגבלות צד שלישי שנובעות מכך.
האם יש במאגר נתונים בעברית?
הכרטיס לא מציין אף מקור בעברית, וכל המאגרים שמהם נאספו השאלות הם באנגלית. אם המטרה היא אימון מודל לעבודה בעברית, הדאטהסט הזה לא יספק את הסחורה. תצטרכו להוסיף דאטה מקומי משלכם.
איך נוצרו התשובות והפתרונות בדאטהסט?
השאלות נלקחו ממאגרים ציבוריים מוכרים כמו SWE-bench ו־SlimOrca, והתשובות סונתזו במיוחד. למשימות שדורשות חשיבה הריצו את DeepSeek-R1-0528 שיוצר שלבי מחשבה מפורטים. למשימות ישירות יותר השתמשו בגרסאות של DeepSeek-V3.
מה ההבדל בין שלב 2 לשלב 1 של אותו מאגר?
השלב הראשון התמקד בעיקר במתמטיקה, קוד, מדעים ושיחה כללית ממקורות רחבים. שלב 2 מרחיב את הכיסוי ומכניס דגש חזק על הפעלת כלים, מעקב אחרי הוראות והנדסת תוכנה מעשית. בנוסף, בשלב הזה הופעלו הכפלות משקל על תחומים מסוימים כדי לחזק אותם באימון.
איך טוענים
הנתונים מחולקים ל־34 קבצים בפורמט jsonl לפי תחומים, כמו קובצי קוד ממוספרים, ואין צורך בבקשת גישה מיוחדת או באישור ידני כדי להוריד אותם. בגלל שמדובר ב־7,797,730 דוגמאות שכוללות שרשראות חשיבה ארוכות, כדאי להזרים את המידע ישירות או לפנות שטח אחסון משמעותי לפני הפריסה לדיסק המקומי. השדות המרכזיים כוללים את הפרומפט, את הפלט הסינתטי ולעיתים את תהליך החשיבה המפורט שקדם לתשובה.
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Cascade-SFT-Stage-2")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי מלא, שינוי והפצה, כל עוד נותנים קרדיט מתאים ליוצרים המקוריים. אין חובה לשתף נגזרות או מודלים שתאמנו עליו תחת אותו הרישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס