SWE-bench_oracle
קוד פתוחprinceton-nlpרישיון לא דווח2023-11-09
המאגר כולל זוגות של תקלות מגיטהאב ופתרונות בצורת טלאי קוד, כשהקבצים הרלוונטיים כבר נבחרו מראש. הוא נבנה כדי לבחון מודלי שפה בתיקון באגים אמיתיים בלי להסתבך באיתור הקבצים במאגר.
- 1,880הורדות בחודש
- 20לייקים
מה זה
הנתונים מבוססים על SWE-bench ומכילים 2,294 זוגות של תקלות ובקשות משיכה שנאספו מתוך 12 ספריות פייתון פופולריות בגיטהאב. כל רשומה כוללת בעיה אמיתית שנפתחה במקור, לצד פתרון הייחוס שנבדק באמצעות בדיקות יחידה שהורצו לאחר מיזוג השינויים בקוד.
בגרסה הזו הנתונים מוגשים בתצורת אורקל, כלומר המידע כבר מאורגן כך שהמודל מקבל ישירות את הקבצים וההקשר הנדרשים לפתרון. עמודת הטקסט ערוכה מראש להזנה ישירה למודלי שפה, והמטרה מוגדרת להפקת קובץ טלאי לפי תבנית ספציפית שמתאימה ישירות לסקריפטים של הפרויקט.
המאגר מחולק לקבצי פארקט ומכיל חלוקה מוגדרת לאימון, פיתוח ומבחן. חלוקת האימון מפוצלת לשישה קבצים נפרדים, בעוד שחלק הבדיקה והפיתוח שמורים כל אחד בקובץ בודד לצורך הרצה והערכה מול לוח התוצאות.
מתאים ל
- הערכת מודלי קוד
בדיקת יכולת המודל לייצר טלאי תקין לפתרון באג אמיתי מתוך תיאור תקלה.
- אימון על תיקון תקלות
כוונון עדין של מודלי שפה ליצירת שינויי קוד מדויקים בפורמט טלאי לפי הקשר.
- בדיקת ביצועים ללא חיפוש
מדידת איכות התיקון נטו כאשר הקבצים הנכונים כבר נבחרו ומצורפים לקלט.
איפה זה נופל
הנתונים מוגבלים לחלוטין לפתרון באגים בשפת פייתון ומגיעים מתוך 12 ספריות בלבד, כך שהם לא מייצגים שפות פיתוח אחרות או מבני פרויקטים שונים. הטקסט ברובו באנגלית, והיוצרים מציינים בפירוש שלא נעשה שום מאמץ לסנן או לנקות את הנתונים לפי שפה. הגדרת האורקל מספקת למודל את הקבצים הרלוונטיים מראש, מה שמנטרל את שלב החיפוש ומציג תמונה קלה בהרבה מתקלה אמיתית במציאות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפיתוח מוצר מסחרי?
היוצרים לא ציינו רישיון בכרטיס המאגר. מבחינה חוקית, היעדר רישיון אומר שכל הזכויות שמורות ואין הרשאה מפורשת לשימוש מסחרי או לאימון מודלים למוצרים. מומלץ לפנות למפרסמים מאוניברסיטת פרינסטון כדי להבין את תנאי השימוש.
האם יש במאגר תמיכה בעברית?
הטקסט של התקלות והקוד מגיע מגיטהאב והוא ברובו המוחלט באנגלית. המפתחים מציינים שלא נעשה סינון שפות, כך שייתכנו שאריות של שפות אחרות, אך אין כאן נתונים ייעודיים בעברית והוא לא מתאים למשימות בשפה המקומית.
מה ההבדל בין הגרסה הזו לגרסת SWE-bench הרגילה?
גרסת האורקל מספקת למודל מראש את הקבצים המדויקים שצריך לערוך כדי לפתור את הבעיה. במקום שהמודל יצטרך לחפש בספריה שלמה איפה נמצא הבאג, עמודת הטקסט כאן מכילה את ההקשר הרלוונטי לצורך הפקת הטלאי בלבד.
איך בנוי המאגר מבחינת קבצים?
המאגר כולל 11 קבצים, בעיקר בפורמט פארקט. סט האימון מפוצל לשישה קבצים נפרדים, וסט הבדיקה והפיתוח שמורים כל אחד בקובץ בודד לצד קובץ התיעוד.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטים מתוך קבצי הפארקט של המאגר. הגישה חופשית ואינה דורשת אישור מוקדם או הרשאות מיוחדות. המאגר מחולק לקובצי אימון, פיתוח ומבחן, כאשר השדה החשוב ביותר לעבודה מיידית הוא עמודת הטקסט. העמודה הזו מעוצבת בדיוק לפי הפורמט שמצפים לו סקריפטי ההרצה של הפרויקט, כך שאפשר להזין אותה ישירות למודל לצורך יצירת טלאי קוד בלי לעשות עיבוד מקדים מורכב.
from datasets import load_dataset
ds = load_dataset("princeton-nlp/SWE-bench_oracle")הרישיון
המאגר מפורסם בלי רישיון מוגדר, מה שיוצר בעיה משפטית ישירה. כשאין רישיון מוצהר, אסור להניח שמותר להשתמש בו לצרכים מסחריים, לאמן עליו מודל שיופץ בעסק או אפילו להפיץ נגזרות שלו. ארגונים וחברות שרוצים לפתח מוצר מסחרי צריכים לבדוק ישירות מול היוצרים לפני שנוגעים בקוד.