Competitive-Programming-python-blend
קוד פתוחJackrongapache-2.0,cc-by-4.0,odc-by,mit,bsd-2-clause,bsd-3-clause2026-03-14
אוסף נתונים לאימון מודלים בתכנות תחרותי וחשיבה לוגית, שמתמקד בעיקר בפייתון. הוא מערבב פתרונות קוד עם שרשראות חשיבה סינתטיות מכמה מקורות כדי לחזק פתרון בעיות מורכבות.
- 508הורדות בחודש
- 21לייקים
מה זה
המאגר מכיל קובץ יחיד בשם clean.jsonl עם עשרות אלפי רשומות שמיועדות לאימון מונחה. כל רשומה כוללת מזהה ייחודי מסוג SHA-256 ומערך שיחות של משתמש ועוזר. תשובות העוזר מכילות תגי חשיבה לפני הפתרון עצמו, מה שמספק למודל דוגמאות מפורטות לתהליך ההסקה ולא רק את התוצאה הסופית.
רוב התוכן מגיע ממקור אחד עיקרי. 87.54% מהדאטהסט מבוססים על קוד פייתון מתוך Nemotron של אנבידיה, ועוד 2.5% מגיעים מאותו מקור בגרסת שפת סי פלוס פלוס. שאר המאגר מורכב משילוב של נתוני חשיבה סינתטיים מבוססי אופוס בשיעור 5.83%, תוספת של 2.5% מתוך נתוני שיחה וחשיבה של אנבידיה, 1.58% זיקוק של נתוני קוון, ופחות מאחוז של דוגמאות הנדסת תוכנה עצמאית.
מתאים ל
- אימון מודל לתכנות תחרותי
לימוד כתיבת אלגוריתמים מורכבים בפייתון ובסי פלוס פלוס תחת אילוצי יעילות קפדניים.
- חיזוק תהליכי חשיבה בקוד
אימון המודל לייצר שלבי חשיבה פנימיים ומפורטים לפני כתיבת שורת הקוד הראשונה.
- הוראות לפתרון תקלות
חשיפת המודל לדוגמאות הנדסת תוכנה שמצריכות הבנת בעיה רחבה בלי התערבות של סוכן.
איפה זה נופל
חלק משמעותי מהנתונים הוא סינתטי ומגיע ישירות ממודלים, מה שאומר שהקובץ כולל טעויות בהסקה, רעשי פורמט והטיות שנולדו במקורות הללו. הוא מיועד כולו לשפה האנגלית ואין בו שום תמיכה בעברית או בניסוחים מקומיים. מעבר לזה, לא מומלץ להשתמש בו כמבחן הערכה למודלים אלא רק כחומר אימון, כי איכות התוכן מעורבבת ולא עברה אימות אנושי קפדני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
רוב הנתונים מאנבידיה מוגדרים כמותרים לשימוש מסחרי, אך יש ייחוס ברישיונות כמו CC-BY ו־ODC-BY. בנוסף, נכללים נתונים שנגזרו מקוון וכפופים להסכם הרישוי של עליבאבא, כך שמומלץ לבדוק את התאימות המשפטית של התערובת הזו לפני שמשלבים אותה במוצר.
האם יש במאגר דוגמאות או תמיכה בעברית?
המאגר מוגדר כולו באנגלית בלבד. כל שאלות התכנות, שרשראות החשיבה והפתרונות כתובים באנגלית, ואין בו שום תוכן בעברית.
איך נאספו ונוצרו הנתונים הללו?
היוצר שילב נתונים מכמה מקורות קיימים, בראשם מאגרי SFT של אנבידיה לצד נתוני חשיבה מבוססי מודלים כמו אופוס וקוון. כל הרשומות עברו האחדה למבנה שיחה אחיד של משתמש ועוזר.
במה הוא שונה מדאטהסטים אחרים של קוד?
הוא לא מכיל רק צמדים של שאלה וקוד, אלא כולל שרשראות חשיבה שמסבירות את פתרון הבעיה. בנוסף, הוא מתמקד כמעט כולו באלגוריתמיקה של תכנות תחרותי בפייתון ולא בקוד מערכות כללי.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הפורמט של jsonl, כשהקובץ הרלוונטי הוא clean.jsonl. אין צורך לבקש אישור גישה מראש. המבנה אחיד לגמרי וכולל רק את שדה ה־id ואת שדה ה־messages, כך שאפשר להזין אותו ישירות למסלולי אימון סטנדרטיים של פיין טיונינג בלי עיבוד מקדים של שמות הדוברים.
from datasets import load_dataset
ds = load_dataset("Jackrong/Competitive-Programming-python-blend")הרישיון
הרישיונות המדווחים כוללים שילוב של אפאצ'י 2.0, MIT, רישיונות BSD, ורישיונות CC-BY ו־ODC-BY שדורשים מתן קרדיט. החלק המרכזי של אנבידיה מסומן כמותר לשימוש מסחרי, אבל החלק שמבוסס על קוון כפוף לתנאי השימוש של עליבאבא. אם אתם בונים מודל מסחרי, חובה לוודא שאתם עומדים בדרישות הייחוס ובתנאי השימוש של כל רכיב בתערובת.