SWE-rebench-leaderboard
קוד פתוחnebiuscc-by-4.02025-07-09
משימות תכנות מעשיות ממאגרי גיטהאב עם תמונות דוקר מוכנות להרצה. מי שבונה סוכני קוד ירצה אותו כדי לבדוק ביצועים על בעיות טריות בלי להתעסק בבניית סביבות.
- 8,711הורדות בחודש
- 29לייקים
מה זה
המאגר מכיל פחות מאלף רשומות, ומציג תת קבוצה מסוננת מתוך פרויקט רחב יותר שמטרתו לבחון סוכני תוכנה על בעיות אמיתיות. כל רשומה מבוססת על בעיה שנפתחה במאגר ציבורי ועל בקשת המשיכה שפתרה אותה בפועל. המבנה מרחיב את הסכמה המוכרת מבאנצ'ים דומים, וכולל את תיאור התקלה, הטלאי המקורי שפותר אותה, טלאי הבדיקות, ורשימות מפורשות של בדיקות שחייבות לעבור או להיכשל לפני ואחרי התיקון.
הנתונים מאורגנים לפי חלוקה חודשית של שנת 2025 בקובצי פארקט נפרדים. כל חודש מציג מקבץ משימות שנוצרו באותו פרק זמן, למשל עשרות משימות ספציפיות שנוספו עבור יולי ואוגוסט. המטרה של המבנה החודשי היא לאפשר סינון לפי תאריך יצירה, כדי להריץ מבחנים על מידע שנאסף אחרי מועד חיתוך האימון של המודל.
מתאים ל
- הערכת סוכני תוכנה
הרצת מודלים על בעיות קוד אמיתיות מחודשים ספציפיים כדי למדוד פתרון תקלות ללא חשיפה מוקדמת.
- בדיקת סביבות ריצה אוטומטיות
שימוש בתמונות הדוקר המוכנות ובשדה הקונפיגורציה לבדיקת תשתיות הרצת קוד ובדיקות יחידה מבודדות.
- ניתוח איכות של טלאי קוד
השוואת הפתרונות שהסוכן הפיק מול הטלאי המקורי כדי לחקור דפוסי שגיאות בפתרון בעיות תוכנה.
איפה זה נופל
גודל המאגר קטן מאוד ועומד על פחות מאלף דוגמאות בסך הכל. הנתונים מגיעים מפרויקטים פתוחים בגיטהאב בלבד, כך שיש הטיה מובנית למבנה של מאגרים פתוחים ולא לקוד ארגוני סגור ומורכב. כל הטקסטים ותיאורי הבעיות הם באנגלית ואין כאן ייצוג לעברית כלל. בנוסף, אף שהמאגר עצמו מנוהל ברישיון אחיד, כל משימה מגיעה ממאגר מקור עם תנאי שימוש משלו, ואי אפשר להתעלם מהרישיון הפרטני של הפרויקט המקורי לפני שמכניסים דוגמאות לתהליך פיתוח.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הדאטהסט עצמו מוגדר תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי עם מתן קרדיט. יחד עם זאת, כל משימה נלקחה ממאגר קוד פתוח אחר עם תנאים משלו שרשומים בשדה הייעודי. אם אתם מאמנים מודל על הקוד עצמו, תצטרכו לוודא שרישיון המקור של אותה רשומה מאפשר זאת.
האם יש במאגר משימות או בדיקות בעברית?
המאגר מבוסס כולו על פרויקטים בינלאומיים בגיטהאב והשפה של התיאורים, הקוד והדיונים היא אנגלית בלבד. אין שום תיעוד או נתונים בעברית. מי שמחפש לבדוק יכולות של סוכנים מול הוראות או תיעוד בעברית יצטרך לבנות משימות כאלה בעצמו.
במה המאגר הזה שונה ממאגרי תכנות דומים?
הוא מתמקד בבעיות עדכניות משנת 2025 המחולקות לפי חודשים כדי למנוע זליגת מידע לאימון של מודלים חדשים. בנוסף, הוא מספק תמונות דוקר מוכנות וקבועות לכל משימה, מה שחוסך את הצורך לבנות את סביבות ההרצה והתלויות מאפס בעת ההערכה.
כמה משימות יש במאגר ואיך מקבלים את הגרסה של חודש מסוים?
המאגר מכיל פחות מאלף רשומות ומחולק לקבצי פארקט לפי חודשים כמו ינואר עד יולי 2025. לאחר שטוענים את הנתונים בספריית פייתון, אפשר להשתמש בפילטר על שדה התאריך created_at כדי לחלץ בדיוק את המשימות של החודש המבוקש עבור לוח התוצאות.
איך טוענים
טוענים את הנתונים דרך ספריית datasets בפייתון בעזרת load_dataset עם המזהה nebius/SWE-rebench-leaderboard. אין צורך לבקש אישור גישה מראש. המאגר כולל 18 קבצים בפורמט פארקט המחולקים לפי חודשים, ואפשר לסנן את הפיצול לפי שדה created_at. כדי להריץ את המבחנים בפועל משתמשים במזלג הקוד הייעודי של הצוות, שקורא את הגדרות ההתקנה משדה install_config ומושך את תמונת הדוקר המתאימה משדה docker_image מתוך מאגר ציבורי.
from datasets import load_dataset
ds = load_dataset("nebius/SWE-rebench-leaderboard")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי, שינוי והפצה, בתנאי שנותנים ייחוס מתאים ליוצרים. הרישיון חל על הדאטהסט עצמו, אך כל רשומה כוללת שדה עם רישיון המאגר המקורי. חובה לבדוק את תנאי המקור לפני אימון מודל שמיועד להפצה מסחרית.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס