Nemotron-Competitive-Programming-v1
קוד פתוחnvidiacc-by-4.02025-12-15
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מאגר נתונים סינתטי בהיקף ענק שנועד לאימון מודלים על אתגרי תכנות תחרותי וחשיבה לוגית. הוא מספק פתרונות מנומקים באנגלית עבור קוד בשפות פייתון וסי פלוס פלוס.
- 2,018הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל דגימות טקסט סינתטיות שנבנו סביב בעיות תכנות תחרותי ומשימות מערכת. הרשומות מגיעות בשני חלקים עיקריים. החלק הראשון מתמקד בתכנות תחרותי טהור וכולל מעל שני מיליון דוגמאות בפייתון וכמיליון בסי פלוס פלוס, שנבנו מתוך 34,799 שאלות ייחודיות ומיועדות להשלמת קוד וביקורת קוד.
החלק השני נקרא InfiniByte, והוא מכיל בעיות תכנות רב תחומיות שנוצרו משילוב של שאלות ממאגר OpenCodeReasoning עם מושגים מתחומי המתמטיקה, הפיזיקה, הכימיה ומדעים נוספים. הסינון נעשה באמצעות מודל שפה ששימש כמבקר ובחן בהירות, קושי והתאמה, ולאחר מכן מודל חשיבה ייצר פתרונות לכל בעיה חדשה.
מתאים ל
- אימון מודלים להשלמת קוד
כוונון עדין של מודלי שפה למשימות כתיבת אלגוריתמים מורכבים בפייתון ובסי פלוס פלוס.
- ביקורת וניתוח קוד
לימוד מודלים לזהות שגיאות, להעריך איכות של פתרונות ולספק ביקורת מנומקת על קוד קיים.
- פתרון בעיות מדעיות מבוססות קוד
אימון מערכות ליישם עקרונות מתמטיים ופיזיקליים מורכבים בתוך תוכנה דרך דוגמאות אינפיניבייט.
איפה זה נופל
מדובר בנתונים סינתטיים שנוצרו על ידי מודלים, ולכן תמיד קיים סיכון של הזיות בקוד או שגיאות עדינות בלוגיקה שקשה לאתר אוטומטית. מעבר לכך, כל הטקסטים והבעיות כתובים באנגלית בלבד, כך שאין שום ייצוג לעברית או לשפות אחרות. המאגר מוגבל רק לתכנות בפייתון ובסי פלוס פלוס, ואינו כולל שפות נפוצות אחרות כמו ג'אווה, ג'אווהסקריפט או ראסט. לפני שמכניסים מודל שאומן על הנתונים האלה למוצר, חייבים להריץ בדיקות קפדניות על סביבות הרצה אמיתיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצרים מסחריים?
כן, הרישיון הוא CC BY 4.0 והיוצרים מציינים במפורש שהדאטהסט מוכן לשימוש מסחרי. יש להקפיד על מתן קרדיט כנדרש ברישיון. כדאי רק לשים לב להערה לגבי תנאי השימוש של מאגרי המקור אם משתמשים בסקריפטי המשיכה.
כמה מקום צריך בשביל להוריד את כל המאגר?
המאגר תופס בערך 178 ג'יגה בייט בדיסק, ומגיע בפורמט של קובצי JSONL מחולקים. לא מומלץ לנסות למשוך אותו למחשב נייד בלי תכנון מוקדם של נפח אחסון. עדיף לעבוד ישירות בשרת ענן ייעודי עם חיבור רשת מהיר.
האם יש במאגר תמיכה בשפה העברית?
לא, המאגר מוגדר כולו באנגלית בלבד. הבעיות, ההסברים והפתרונות מנוסחים באנגלית ומתאימים לקוד בפייתון ובסי פלוס פלוס. אם אתם צריכים אימון עבור פקודות או הסברים בעברית, המאגר הזה לא יספק את המענה.
איך נוצרו הנתונים והאם הם אמיתיים?
מדובר במאגר סינתטי היברידי שנוצר באמצעות תהליכים אוטומטיים ומודלי שפה. הבעיות נבנו על בסיס אתגרי תכנות ומושגים מדעיים, והפתרונות יוצרו באמצעות מודל חשיבה עם מערכת סינון מבוססת מודל מבקר.
איך טוענים
הנתונים מגיעים בקובצי JSONL ומחולקים לשישה קבצים עיקריים שמייצגים את החלקים השונים של פייתון, סי פלוס פלוס ואינפיניבייט. הגישה למאגר פתוחה לחלוטין בהאגינג פייס ואינה דורשת אישור מיוחד או מילוי טפסים, כך שאפשר למשוך את הקבצים ישירות. הנקודה הקריטית היא המשקל, שכן המאגר שוקל כ־178 ג'יגה בייט על הדיסק, ולכן חייבים לוודא שיש מספיק נפח אחסון פנוי ורוחב פס מתאים עוד לפני שמתחילים להוריד. הרשומות כוללות את הטקסט של הבעיות לצד מטא דאטה של הפתרונות וההנמקות.
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Competitive-Programming-v1")הרישיון
המאגר מופץ תחת רישיון CC BY 4.0 שמתיר שימוש מסחרי מלא, כולל אימון מודלים והפצה שלהם. תנאי השימוש מחייבים מתן קרדיט מתאים לאנווידיה. עם זאת, בהערות הכרטיס מצוין שהסקריפטים מושכים מאגרי מקור שעשויים להיות כפופים לתנאי רישוי מקוריים משלהם, ולכן שווה לוודא שאין תלות בעייתית במקורות הללו.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס