SWE-Fixer-Train-110K

מה זה

המאגר כולל רשומות שמיועדות לאימון מודלי שפה על משימות של פתרון בעיות תוכנה אמיתיות. המבנה שלו נשען על ארכיטקטורה של שני שלבים מרכזיים, שכוללת שליפת קבצי הקוד הרלוונטיים לתקלה ועריכת התיקון בתוכם. הנתונים מתמקדים במשימות של יצירת טקסט סביב פתרון תקלות, והם הוכנו כדי לחזק את היכולת של מודלים להתמודד עם אישיוז מורכבים במאגרי קוד פתוח.

כרטיס הנתונים לא מפרט את הליך הסינון, רשימת השפות המדויקת או אופן הדגימה של הנתונים, אלא מפנה ישירות למאמר ולפרויקט של הקבוצה. הנתונים יושבים בקובץ יחיד ומיועדים לשמש כבסיס ישיר לאימון שלב העריכה והשליפה ברצף העבודה של הפרויקט.

מתאים ל

• אימון מודל לעריכת קוד

  לימוד מודלים איך לייצר תיקוני קוד נקודתיים מתוך תיאור תקלה.

• אימון רכיב שליפת קבצים

  פיתוח מנגנון שמזהה אילו קבצים במאגר רלוונטיים לבעיה שדווחה.

• מחקר על פתרון בעיות

  בדיקת יכולות של מודלי קוד פתוח על פתרון תקלות פיתוח אמיתיות.

איפה זה נופל

הכרטיס במאגר דל מאוד בפרטים טכניים ולא מפרט לאילו שפות תכנות הנתונים שייכים או מאילו שנים הקוד נאסף. אין מידע על אופן ניקוי המידע, האם הוסרו סודות או נתונים רגישים, ומהם אחוזי השגיאות בדוגמאות האימון. קוד מגיטהאב מגיע באופן טבעי באנגלית ולכן אין כאן שום התייחסות לעברית, ותצטרכו לקרוא את המאמר המלא כדי להבין הטיות וסוגי תקלות שנכללו לפני שמכניסים את זה למוצר.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הדאטהסטס או בהורדה ישירה של הקובץ swe-fixer-train-110k.jsonl שנמצא במאגר. מדובר במאגר פתוח לחלוטין ללא צורך באישור גישה או מפתחות מיוחדים מעבר להתחברות רגילה. הקובץ שמור בפורמט שורות ג'ייסון סטנדרטי שמתאים מיד לטעינה ולעיבוד מקומי. כדאי לוודא שיש לכם מספיק שטח אחסון וזיכרון עבודה לפני שפורסים את כל הדוגמאות לעיבוד, ולבדוק את מבנה המפתחות בתוך כל שורה לפני שמתחילים לרוץ על כל החלקים של אימון המודל.

from datasets import load_dataset

ds = load_dataset("internlm/SWE-Fixer-Train-110K")

הרישיון

המאגר מופץ תחת רישיון MIT. המשמעות היא שמותר להשתמש בו לצרכים מסחריים ולמחקר, לשנות אותו ולשלב אותו במוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. הרישיון לא דורש שיתוף של תוצרים באותו רישיון, ומודלים שאומנו על הנתונים אינם מחויבים להיפתח לציבור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗