SWE-Bench-plus-plus
קוד פתוחTuringEnterprisesרישיון לא דווח2025-09-24
המאגר מרכז 500 משימות תכנות אמיתיות מגיטהאב לבחינת סוכני קוד. המטרה היא להקשות עליהם עם בעיות מרובות קבצים במקום אתגרים מלאכותיים.
- 839הורדות בחודש
- 21לייקים
מה זה
הנתונים מבוססים על בעיות וסגירת בקשות מיזוג ממאגרי גיטהאב פעילים עם יותר ממאה כוכבים ומערך בדיקות מוגדר. הצוות סינן מתוך מאגר ראשוני של מעל 50,000 בקשות, שילב בדיקות אוטומטיות עם מומחים אנושיים, ובנה סביבת דוקר לכל משימה. המשימות מחולקות לשישה סוגי בעיות ואחד עשר סוגי מאגרים, ומכסות שבע שפות תכנות לפי חלוקת המטאדאטה, אם כי בתיאור הראשוני צוינו תשע שפות במאגר הפרטי.
כל רשומה דורשת פתרון מלא שמשנה בפועל קוד קיים ונבדק מול תוצאות ריצה בשלושה מצבים. מעל 80 אחוז מהמשימות מוגדרות ברמת קושי בינונית עד קשה, עם ממוצע של יותר מ־120 שורות קוד ערוכות ויותר משבעה קבצים ששונו בכל פתרון.
מתאים ל
- הערכת ביצועי סוכני קוד
הרצת מודלים מול בעיות תכנה אמיתיות מרובות קבצים ובדיקת אחוזי ההצלחה שלהם בסביבת הרצה מבודדת.
- אימון מודלי מחקר
שימוש במסלולי הריצה והפתרונות לכוונון עדין של מודלי שפה עבור מוסדות אקדמיים או גופי מחקר.
- השוואת מודלים מובילים
מדידת ביצועים מדויקת מול מדדי ייחוס קיימים של מודלים חזקים במשימות פיתוח מורכבות.
איפה זה נופל
חלק גדול מהבדיקות והדוקריזציה נשען על סוכני שפה בעצמם, מה שעלול להשאיר שגיאות עדינות בסביבות ההרצה למרות בקרת האיכות. בנוסף, חלוקת הקושי בכרטיס מכילה שדות חסרים שהושארו כטיוטה, וההגדרה מסתמכת רק על כמות שורות וקבצים ששונו ולא על מורכבות לוגית. שפות התכנות מוגבלות לשבע או תשע שפות מרכזיות, ואין כאן שום ייצוג לבעיות או הערות בעברית.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
לא. הרישיון שמופיע בתיאור מגביל את השימוש למחקר, אקדמיה וחינוך בלבד. שימוש מסחרי דורש פנייה ישירה לחברה לקבלת אישור.
מה ההבדל בין זה לבין SWE-bench המקורי?
הגרסה הזו מתמקדת במשימות ארוכות יותר שדורשות עריכה של שבעה קבצים בממוצע וכוללת מספר שפות תכנות. בנוסף, תהליך יצירת סביבות הדוקר עבר אוטומציה רחבה יותר.
האם יש במאגר משימות או קוד בעברית?
לא. כל הנתונים נאספו ממאגרי קוד בינלאומיים בגיטהאב שמתנהלים באנגלית ובשפות תכנות סטנדרטיות.
איך טוענים
טוענים את המשימות ישירות דרך כלי ההערכה של הפרויקט בגיטהאב באמצעות הפקודה swebench.harness.run_evaluation עם שם הדאטהסט TuringEnterprises/SWE-Bench-plus-plus. אין צורך באישור גישה מיוחד למאגר הציבורי. ההרצה דורשת סביבת דוקר מוכנה, התקנת סביבת פייתון מקומית מהמאגר שלהם, וקובץ jsonl שמכיל את התחזיות והפתרונות של המודל.
from datasets import load_dataset
ds = load_dataset("TuringEnterprises/SWE-Bench-plus-plus")הרישיון
הרישיון שהחברה מצרפת בגוף הטקסט אוסר שימוש מסחרי מכל סוג. השימוש מותר אך ורק למחקר לא מסחרי, אקדמיה או חינוך, והוא ניתן לביטול. אם תאמנו עליו מודל או תשתמשו בו לצורך פיתוח מוצר עסקי, תפרו את תנאי המקור, אלא אם תסדירו מולם גישה מסחרית בתשלום.