SWE-bench_Verified
קוד פתוחprinceton-nlpרישיון לא דווח2024-08-13
מדובר בגרסה מסוננת של מבחן פתרון תקלות תוכנה אמיתיות מגיטהאב, שעברה אימות אנושי. תרצו להשתמש בה כדי להעריך סוכני קוד מול מדד אמין בלי בעיות איכות ברפרנס.
- 310,606הורדות בחודש
- 383לייקים
מה זה
המאגר כולל תת קבוצה של 500 דגימות מתוך סט הבדיקה המקורי של SWE-bench. כל רשומה מייצגת צמד של תיאור תקלה ובקשת מיזוג שנלקחו ממאגרי פייתון פופולריים וציבוריים ברשת. במקום לסמוך על סגירות אוטומטיות מההיסטוריה של גיטהאב, כל דוגמה כאן עברה בדיקה ידנית של בני אדם כדי לוודא שהבעיה מוגדרת כראוי ושהפתרון באמת נכון.
המבנה של הנתונים מתמקד בבדיקות יחידה. המערכת בודקת את התיקון שהמודל מציע מול התנהגות הטסטים לאחר המיזוג, כשהיא משתמשת בהם כפתרון הייחוס. החלוקה היא לקובץ בדיקה יחיד בפורמט פארקט, שבו מקבלים את תיאור הבעיה מתוך האישו לצד קומיט הבסיס של המאגר לפני התיקון. אין פה חלוקה מורכבת לכמה סטים, אלא סט הערכה אחד ממוקד שנועד לתת ציון נקי למודלים שפותרים תקלות קוד.
מתאים ל
- בנצ'מרק לסוכני תכנות
הרצת מודלי שפה על בעיות אמיתיות כדי למדוד כמה מהן עוברות בהצלחה את בדיקות היחידה.
- השוואת ביצועים ללידרבורד
השוואה של ביצועי סוכן הקוד שלכם מול התוצאות הרשמיות שמפורסמות באתר swebench.
- בדיקת איכות להצעות תיקון
בחינה נקודתית של אופן הטיפול של מודל בקומיט בסיס לפי תיאור תקלה מילולי בפייתון.
איפה זה נופל
הטקסטים הם בעיקר באנגלית כי הם נמשכו ממאגרי פייתון פופולריים, והיוצרים מציינים במפורש שהם לא עשו שום סינון או ניקוי לפי שפה. אין פה עברית, ואם הקוד שלכם כתוב בשפות תכנות שאינן פייתון הדאטהסט הזה לא רלוונטי לכם. מעבר לכך, המאגר מוגבל אך ורק לפתרון באגים מתוך מאגרים קיימים, והוא לא בודק כתיבת פיצ'רים מאפס או תחזוקת ארכיטקטורה רחבה.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
לא דווח רישיון בעמוד הרשמי של המאגר. ללא הגדרת רישיון ברורה אין אישור שימוש מסחרי מפורש, וכל שימוש כזה דורש בירור מול המפרסמים.
האם יש בדאטהסט תמיכה בעברית?
לא, הטקסטים נאספו ממאגרי קוד פתוח מובילים ונכתבו בעיקר באנגלית. היוצרים מציינים שלא בוצע סינון שפות, כך שאין כאן תכני בדיקה בעברית.
מה ההבדל בינו לבין SWE-bench הרגיל?
הגרסה הזו מכילה 500 דגימות שעברו אימות אנושי כדי להבטיח את איכות הטסטים והבעיות. זה חוסך תוצאות שגויות שנובעות מבעיות ברפרנס המקורי.
האם הדאטהסט כולל קוד בשפות שאינן פייתון?
לא, כל המאגרים שנבחרו הם ספריות פייתון פופולריות. מי שמחפש לבדוק שפות כמו ג'אווה, גו או טייפסקריפט לא ימצא אותן כאן.
איך טוענים
טוענים אותו ישירות דרך ספריית הדאטהסטס בקובץ פארקט יחיד שמכיל את סט הטסט, בלי צורך לבקש אישור גישה מוקדם או למלא טפסים. הקבצים העיקריים בפנים הם problem_statement שמביא את הטקסט של התקלה, ו־base_commit שמגדיר את נקודת ההתחלה של הקוד בריפו. שימו לב שהוא לא כולל קונטקסט מוכן של שליפה, אז אם אתם צריכים הגדרות של אורקל או אחזור מבוסס BM25, היוצרים מפנים לדאטהסטים נפרדים שהם שחררו למטרה הזו.
from datasets import load_dataset
ds = load_dataset("princeton-nlp/SWE-bench_Verified")הרישיון
החוקרים מפרינסטון לא דיווחו על רישיון בעמוד של הדאטהסט. כשאין רישיון מוגדר, מבחינה משפטית אין היתר שימוש ברור, לא למחקר ולא למוצרים מסחריים. אסור להניח שמותר לאמן עליו מודלים מסחריים או להפיץ נגזרות שלו, ובמקרה כזה חייבים לפנות ישירות ליוצרים כדי להבין מה מותר לעשות עם המידע.