X-Coder-SFT-376k
קוד פתוחIIGroupmit2026-01-05
מאגר סינתטי מלא לתכנות תחרותי שמכיל שאלות ומסלולי חשיבה מפורטים. הוא מיועד למי שרוצה לאמן מודלים על פתרון בעיות קוד מורכבות משלב ההתחלה.
- 1,764הורדות בחודש
- 21לייקים
מה זה
המאגר מכיל בסך הכל 887,321 רשומות סינתטיות שנבנו סביב 423,883 שאלות ייחודיות בתחום התכנות התחרותי. את השאלות ייצר מודל GPT-o3-mini של OpenAI, ואת הפתרונות יצרו המודלים DeepSeek-R1-0528 ו־Qwen3-235B-A22B-Thinking-2507, כך שרוב התשובות כוללות את תהליך החשיבה המלא בתוך תגיות ייעודיות.
הנתונים מחולקים לארבעה חלקים נפרדים. החלק hybrid כולל 376,491 רשומות ומערב שאלות עם פתרון בודד לצד שאלות עם עד 16 פתרונות שונים. החלק unique-prompt מכיל 202,128 רשומות ללא תגיות חשיבה ומתמקד במגוון שאלות, multiple-solution מציע כ־6.5 פתרונות בממוצע לכל שאלה עבור 218,686 רשומות, ו־verified כולל 90,016 פתרונות מאומתים, שמונה לכל שאלה, ומוכל כולו בתוך hybrid.
מתאים ל
- אימון SFT למודלי קוד
לימוד מודלי שפה לפתור בעיות אלגוריתמיות בעזרת דוגמאות מרובות של שאלות ותשובות.
- הטמעת שרשראות חשיבה
שימוש בתגיות החשיבה שנכללות ברוב החלקים כדי ללמד מודל לתכנן שלבים לפני כתיבת הקוד.
- גיוון פתרונות לבעיה
שימוש בחלק multiple-solution כדי להרגיל את המודל להציע מספר גישות לאותה משימה.
איפה זה נופל
כל המאגר מבוסס על תוכן סינתטי לחלוטין שיוצר על ידי מודלי שפה, ללא קוד מקור אנושי שנאסף מפלטפורמות חיצוניות. התוכן כולו באנגלית ומוגבל למשימות סגנון תכנות תחרותי, כך שהוא לא מלמד תחזוקת מערכות, קריאת קוד קיים או עבודה עם ספריות מורכבות. בנוסף, קיים חפיפה של כ־55% בין multiple-solution לבין hybrid, כך שאימון על שניהם יחד דורש סינון כפילויות עצמאי כדי לא לפגוע באיזון הנתונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
כן. רישיון MIT שבו המאגר משוחרר מאפשר שימוש מסחרי ללא מגבלות על תוצרי האימון, בתנאי ששומרים על הודעת זכויות היוצרים המקורית בקוד או בהפצה.
כמה שוקל המאגר להורדה?
הנפח תלוי בחלק שתבחרו לטעון. החלק הגדול ביותר, hybrid, שוקל 24.3 גיגה בייט, שני החלקים הבינוניים שוקלים כ־13 גיגה בייט כל אחד, והחלק המאומת שוקל 5.2 גיגה בייט.
האם יש במאגר שאלות או קוד בעברית?
לא. המאגר מוגדר ומכיל תוכן באנגלית בלבד. אם המטרה היא מודל שיודע לקבל הנחיות בעברית, תצטרכו לתרגם את השאלות או לערבב נתונים ממקור נוסף.
איך נאספו הנתונים במאגר?
הנתונים לא נסרקו מהרשת אלא נוצרו באופן סינתטי. שאלות התכנות נוצרו על ידי GPT-o3-mini, והפתרונות המלווים בשרשראות חשיבה הופקו על ידי DeepSeek-R1-0528 ו־Qwen3-235B-A22B-Thinking-2507.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון המזהה IIGroup/X-Coder-SFT-376k ושם החלק הרצוי, למשל hybrid. המאגר פתוח לציבור ואינו דורש אישור גישה מראש. הקבצים שמורים בפורמט parquet, כאשר הנפח משתנה לפי החלק: hybrid שוקל 24.3 גיגה בייט, multiple-solution שוקל 13.6 גיגה בייט, unique-prompt שוקל 13.1 גיגה בייט, ו־verified שוקל 5.2 גיגה בייט. המבנה פשוט ומכיל שני שדות בלבד, query עם תיאור הבעיה ו־response עם הפתרון.
from datasets import load_dataset
ds = load_dataset("IIGroup/X-Coder-SFT-376k")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הנתונים ואימון מודלים, בכפוף לשמירה על הצהרת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש