OpenCodeGeneticInstruct
קוד פתוחnvidiacc-by-4.02025-05-05
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מעל 15 מיליון הוראות קוד בפייתון שנוצרו בשיטה אבולוציונית סינתטית. המאגר מיועד לאימון מודלים שצריכים להשתפר בפתרון בעיות תכנות תחרותיות.
- 439הורדות בחודש
- 21לייקים
מה זה
המאגר מכיל 15,093,134 רשומות שמחולקות בין שני תתי מאגרים לפי המודל שיצר אותן. החלק הראשון כולל כמעט 7.6 מיליון שאלות ותשובות שנוצרו באמצעות Mixtral-8x22B-Instruct, והחלק השני מכיל 7 מיליון רשומות שנוצרו באמצעות Qwen2.5-32B-Instruct. כל רשומה מייצגת שאלת תכנות תחרותי, התשובה המלאה של המודל, וחלק נפרד שמבודד רק את קוד הפתרון.
בבסיס התהליך עומדת אוכלוסיית זרע קטנה של 512 דוגמאות שנלקחו מהאוסף Tiger-Leetcode. משם אנבידיה השתמשה בגישת Genetic Instruct, שיטה סינתטית שמבצעת פעולות של מוטציה והצלבה בין שאלות כדי להרחיב את המגוון והקושי. הנתונים נוצרו בין ינואר למרץ 2025, וכוללים תיעוד של הפעולה הגנטית הספציפית ששימשה ליצירת כל שאלה.
מתאים ל
- אימון הוראות למודלי קוד
כוונון עדין של מודלי שפה כדי לשפר את יכולת כתיבת קוד בפייתון ומענה להוראות.
- הכנה למבחני תכנות
אימון מודלים לפתרון שאלות אלגוריתמיות בסגנון ליטקוד ותכנות תחרותי.
- מחקר על דאטה סינתטי
בדיקת השפעת שיטות אבולוציה של פרומפטים על איכות מודלים ביחס לדאטה אנושי.
איפה זה נופל
כל המאגר מבוסס על שפת פייתון בלבד ומוגדר באנגלית, כך שאין כאן מגוון של שפות פיתוח אחרות או תמיכה בעברית. בנוסף, מדובר בדאטה סינתטי לחלוטין שמקורו ב־512 שאלות ליטקוד בלבד, כך שיש סיכון לשגיאות היגיון, הזיות של המודלים המייצרים, וחזרתיות על אותם דפוסי בעיות. המאגר מתמקד בחידות תכנות אלגוריתמיות ולא משקף קוד תעשייתי, מבנה של ספריות אמיתיות או עבודה מול בסיסי נתונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר זמין תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי מלא. התנאי העיקרי הוא מתן קרדיט ברור לאנבידיה בהתאם לתנאי הרישיון.
כמה מקום צריך בשביל להוריד אותו?
הורדת המאגר כולו דורשת נפח תעבורה ואחסון של 25 גיגה בייט. הקבצים מגיעים דחוסים בפורמט parquet ומחולקים לפי המודל שיצר את הדוגמאות.
האם המאגר מכיל פתרונות בשפות נוספות חוץ מפייתון?
לא, כל פתרונות הקוד במאגר נכתבו בפייתון בלבד. הטקסט של השאלות וההסברים כתוב כולו באנגלית, ואין בו שפות תכנות אחרות או טקסט בעברית.
איך המאגר נוצר מתוך 512 דוגמאות בלבד?
החוקרים לקחו 512 שאלות מקוריות מליטקוד והפעילו עליהן מודלים גדולים שביצעו מוטציות ושילובים אלגוריתמיים. התהליך יצר מעל 15 מיליון שאלות חדשות לחלוטין בלי איסוף ידני נוסף.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בלי צורך באישור גישה או הרשמה מיוחדת. צריך לציין את התצורה הרצויה, mixtral-8x22b-instruct או qwen2.5-32b-instruct, ולמשוך את פיצול train. נפח ההורדה הכולל מגיע ל־25 גיגה בייט, והנתונים שמורים בקובצי parquet. השדות המרכזיים לעבודה הם input שמכיל את הבעיה, solution שכולל את קוד הפייתון בלבד, ו־output שמביא את התשובה המלאה.
from datasets import load_dataset
ds = load_dataset("nvidia/OpenCodeGeneticInstruct")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש חופשי כולל שימוש מסחרי ואימון מודלים, בתנאי שנותנים קרדיט מתאים ליוצרים. אין כאן דרישה של שיתוף זהה, כך שאין חובה לפתוח את המשקלים של מודל שתאמנו על הנתונים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס