EpiCoder-func-380k
קוד פתוחmicrosoftרישיון לא דווח2025-01-13
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
מאגר סינתטי של 380 אלף זוגות הוראה וקוד פייתון ברמת פונקציה. הוא מיועד למי שמאמן מודלי שפה ורוצה לשפר את הדיוק שלהם בהפקת קוד מורכב ומפורט.
- 127הורדות בחודש
- 31לייקים
מה זה
המאגר כולל 380 אלף רשומות שמיועדות לאימון מודלים לכתיבת קוד. כל רשומה מורכבת מהוראת תכנות מילולית ומפורטת ומקוד פייתון שנועד לפתור אותה במדויק ברמת פונקציה.
התוכן כולו נוצר באופן סינתטי באמצעות מודלי שפה, על פי המתודולוגיה שמתוארת במאמר המדעי של החוקרים. ההוראות והקוד לא נאספו ממאגרים פתוחים כמו גיטהאב אלא יוצרו מאפס, ועברו בדיקת תקינות בסביבת דוקר כדי לוודא שהקוד אכן עובד ונכון.
אין כאן חלוקה מובנית לסט אימון, בדיקה או ולידציה, ואין תיוגים ידניים מעבר לצמדי ההוראה והפלט. המבנה אחיד לחלוטין לכל אורך הדרך, והוא מתמקד אך ורק במשימות תכנות בשפת פייתון בלי שפות נוספות או משימות שיחה כלליות.
מתאים ל
- אימון מודלים לקוד
כוונון עדין של מודלי שפה ליצירת פונקציות בפייתון על בסיס מפרט טקסטואלי.
- שיפור דיוק בהוראות
הוראת מודלים להקפיד על דרישות תכנות מורכבות כמו טיפול בחבילות ולוגים.
- בדיקת איכות קוד
שימוש בזוגות ההוראה והקוד כבסיס להשוואה והערכת יכולות של מודלים קיימים.
איפה זה נופל
הנתונים כולם סינתטיים ונוצרו על ידי מודלי שפה, ולכן הם עלולים לשחזר הטיות או הרגלי תכנות ספציפיים שהיו במודלים המקוריים. המאגר מוגבל אך ורק לפייתון ולהוראות באנגלית. מי שבונה מודל שיחה כללי לא יכול להסתמך רק עליו, כי הוא חסר כל יכולת דיאלוג מחוץ לעולם הקוד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
בגוף הכרטיס מצוין רישיון MIT, שמאפשר שימוש מסחרי חופשי כולל אימון מודלים למכירה. עם זאת, בפרטי המטא של המאגר השדה רישיון נותר ריק. כדאי לקחת בחשבון את הפער הזה מול היבטים משפטיים של החברה לפני שמתחילים לאמן.
האם המאגר כולל תמיכה בעברית?
לא. כל ההוראות והתיאורים במאגר כתובים באנגלית בלבד. אם אתם צריכים מודל שמבין הנחיות פיתוח בעברית, תצטרכו לתרגם את הנתונים או להוסיף מאגר אחר.
מאיפה הגיעו הנתונים והקוד?
הנתונים לא נלקחו ממאגרים ציבוריים אלא נוצרו באופן סינתטי על ידי מודלי שפה. כל פלט של קוד הורץ ונבדק בסביבת דוקר מבודדת כדי לאמת שהוא עובד לפני שנכנס למאגר הסופי.
באילו שפות תכנות המאגר תומך?
המאגר ממוקד אך ורק בשפת פייתון ברמת פונקציה בודדת. הוא אינו מכיל דוגמאות בשפות אחרות כמו ג'אווהסקריפט או C++.
איך טוענים
הקובץ המרכזי במאגר מגיע בפורמט jsonl פשוט בשם func_380k.jsonl. אין צורך באישור גישה מיוחד כדי להוריד אותו, וטוענים אותו ישירות דרך ספריית datasets הרגילה. המבנה מכיל רק שני שדות, instruction שמכיל את תיאור המשימה, ו־output שכולל את קוד הפייתון שנבדק בסביבת דוקר.
from datasets import load_dataset
ds = load_dataset("microsoft/EpiCoder-func-380k")הרישיון
הכרטיס מציין שהמאגר מוגן תחת רישיון MIT, למרות שבראש העמוד לא הוגדר רישיון רשמי. רישיון MIT מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלות, מלבד מתן קרדיט ליוצרים המקוריים.