KodCode-V1

מה זה

הנתונים כוללים מאות אלפי רשומות המחולקות ל־12 תתי-מאגרים שונים, שמכסים תרגילי תכנות בסיסיים, שאלות בסגנון ליטקוד ותחרויות קוד, מבני נתונים ותיעוד טכני. כל רשומה כוללת שאלה סינתטית, פתרון שנכתב על ידי המודל gpt-4o-0513, ובדיקות יחידה תואמות בפורמט Pytest או קלט ופלט סטנדרטיים.

הפתרונות והבדיקות עברו תהליך אימות עצמי של עד עשר הרצות, כדי לוודא שהקוד אכן עובר את הטסטים שנכתבו עבורו. הרשומות כוללות גם מידע על אחוזי המעבר של המודל, רמת הקושי שנגזרה מהם, נתוני כיסוי של הבדיקות, וחישוב דמיון קוסינוס לבנצ'מרקים מוכרים בתחום כמו HumanEval ו־LiveCodeBench כדי לאתר חפיפות.

מתאים ל

• אימון בלמידת חיזוק

  אימון מודלים לייצור קוד עם משוב מבוסס בדיקות יחידה קיימות.

• אימון מונחה למודלי קוד

  כוונון עדין של מודלי שפה על שאלות תכנות מגוונות באנגלית.

• הערכת יכולות פתרון בעיות

  בדיקת ביצועים של מודלים מול בעיות אלגוריתמיות ברמות קושי שונות.

איפה זה נופל

כל הנתונים נוצרו בצורה סינתטית על ידי מודל יחיד, מה שמייצר תלות מוחלטת באיכות ובדפוסים של gpt-4o-0513. התוכן קיים באנגלית בלבד, ואין כאן נתונים בעברית. שאלות שמסומנות תחת use_with_caution כוללות שדה שמפרט מדוע הן סוננו, כך שחובה לסנן את המאגר לפי השדות האלה ולא לטעון אותו בצורה עיוורת ישר לאימון.

איך טוענים

המאגר זמין להורדה ישירה דרך Hugging Face ללא צורך באישור גישה מיוחד, ומחולק ל־16 קובצי parquet בתיקיית המידע. הרשומות מחזיקות שדות מפתח כמו question, solution, ו־test, לצד שדה test_info שמכיל חתימות פונקציה ותיעוד. אם אתם מאמנים מודל בלמידת חיזוק, המפרסמים ממליצים להזין את המידע מתוך test_info ישירות לתוך הפרומפט. מחרוזות הבדיקות דורשות לעיתים המרה למבנה נתונים באמצעות ast.literal_eval.

from datasets import load_dataset

ds = load_dataset("KodCode/KodCode-V1")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-4.0, שאינו מתיר שימוש מסחרי מכל סוג שהוא. מותר להשתמש במידע למטרות מחקר, לימוד וניסויים אישיים בלבד, תוך מתן קרדיט מתאים ליוצרים. מודל שתאמנו על הדאטהסט הזה לא יוכל לשמש במוצר מסחרי או להימכר כשירות.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗