RefineCode-code-corpus-meta
קוד פתוחOpenCoder-LLMmit2024-11-15
המאגר כולל מטא דאטה של קוד מקור מסונן שנועד לאימון מודלי שפה לתכנות. הוא מתאים למי שרוצה לשחזר בעצמו קורפוס קוד ענק בלי להסתמך על סינון עיוור.
- 853הורדות בחודש
- 27לייקים
מה זה
המאגר לא מחזיק את קבצי הקוד עצמם, אלא רשומות מטא דאטה שמצביעות על שמות המאגרים ונתיבי הקבצים המדויקים מתוך The Stack V2. הרעיון הוא לתת לכם את המפתח לסינון של RefineCode, קורפוס שמכוון במקור להיקף של 960 מיליארד תוקנים של קוד על פני 607 שפות תכנות, לצד 75 מיליארד תוקנים של תוכן רשת שקשור לקוד.
לפי הכרטיס, הסינון של הפרויקט מבוסס על יותר מ־130 חוקים ייעודיים לשפות תכנות שונות עם משקולות מותאמות אישית. מה שהועלה כאן בפועל מכסה רק את החלק שמקורו ב־The Stack V2, מה שמהווה בערך חצי מנפח הקבצים הכולל של הפרויקט השלם.
מתאים ל
- שחזור קורפוס לאימון
משיכת קבצי המקור של The Stack V2 לפי הנתיבים כדי לבנות קורפוס אימון איכותי למודלי שפה.
- ניתוח הרכב נתוני קוד
בדיקת ההתפלגות של מאגרים ונתיבי קבצים שעברו את הסינון של RefineCode מול סטים אחרים.
- סינון מקורות מקומיים
הצלבת רשימת המאגרים והקבצים כדי לדגום רק קוד שנבחר לפי 130 חוקי הסינון של הפרויקט.
איפה זה נופל
זה לא קורפוס מוכן לאימון, ואתם לא מקבלים כאן שורת קוד אחת. בגלל שיקולים משפטיים מורכבים המפתחים לא שחררו את הקוד הגולמי, והחלק שזמין כרגע מייצג רק כחצי מהנפח המקורי. מי שבונה על פרויקט מלא יצטרך לכתוב סקריפטים שיורידו את הקבצים בפועל לפי הנתיבים, מה שדורש תשתית אחסון וזמן הורדה משמעותי עוד לפני שמתחילים לגעת במודל.
שאלות
נפוצות
האם הדאטהסט כולל קוד שאפשר להתחיל לאמן עליו מיד?
לא. המאגר מכיל רק מטא דאטה כמו שמות מאגרים ונתיבי קבצים, ללא תוכן הקוד עצמו. כדי לאמן תצטרכו להשתמש במידע הזה כדי להוריד את הקבצים המקוריים מתוך The Stack V2.
מותר להשתמש בזה לפרויקטים מסחריים?
המאגר מפורסם תחת רישיון MIT שמאפשר שימוש מסחרי במטא דאטה. אם אתם מושכים את קבצי הקוד עצמם לפי הרשימה, תצטרכו לבדוק את הרישיון של כל קובץ ומאגר מקורי.
האם יש במאגר הזה טקסט בעברית?
הכרטיס מדבר על 607 שפות תכנות ונתוני רשת סביב קוד, ולא מציין שפות אנושיות ספציפיות. סיכוי נמוך שיש כאן נפח עברית משמעותי מעבר להערות שוליים אם היו כאלה בקוד המקור.
למה יש כאן רק חצי מנפח הנתונים המקורי של RefineCode?
המפתחים ציינו כי עקב שיקולים משפטיים מורכבים הם לא יכלו לספק את כלל הנתונים. כרגע זמין רק החלק שמכוסה על ידי The Stack V2, והם דיווחו שהם עובדים על שחרור השאר.
איך טוענים
הנתונים מחולקים ל־95 קבצי parquet ממוספרים תחת ספריית data, יחד עם קובץ README. לא צריך לבקש אישור גישה מיוחד כדי להוריד אותם מ־Hugging Face. תצטרכו לטעון את קבצי ה־parquet, לחלץ מתוכם את שדות ה־repository וה־file path, ואז למשוך את התוכן עצמו ישירות ממאגר המקור של The Stack V2.
from datasets import load_dataset
ds = load_dataset("OpenCoder-LLM/RefineCode-code-corpus-meta")הרישיון
הרישיון של המאגר מוגדר כ־MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו במודלים בלי חובת שיתוף זהה, כל עוד שומרים על תנאי הייחוס. עם זאת, זכרו שמדובר רק במטא דאטה, והקוד שתורידו בפועל יהיה כפוף לרישיונות המקוריים של המאגרים שמהם הוא נלקח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש