SWE-bench_Multilingual
קוד פתוחSWE-benchmit2025-04-29
בנצ'מרק של 300 בעיות פיתוח אמיתיות מגיטהאב בתשע שפות תכנות שונות. הוא מיועד למי שרוצה לבדוק מודלים על פתרון תקלות קוד מעבר לפייתון.
- 38,354הורדות בחודש
- 27לייקים
מה זה
המאגר מכיל 300 צמדים של אישיו ובקשת מיזוג שנאספו מתוך 41 מאגרי קוד פתוח פופולריים. בין הפרויקטים אפשר למצוא שמות מוכרים כמו רדיס, טוקיו, לרוול, קאדי ופרהאקט, עם בקשות מיזוג שנפרסות בין השנים 2017 ל־2025. הבדיקה של הפתרונות מתבססת על הרצת בדיקות יחידה אמיתיות, כשהמצב של הקוד לאחר המיזוג משמש כפתרון הייחוס.
השפות כוללות רובי, ראסט, פי-אייץ'-פי, ג'אווה וגו עם מעל 40 מקרים לכל אחת, לצד סי, ג'אווה-סקריפט, טייפסקריפט וסי-פלוס-פלוס במספרים נמוכים יותר. המבנה כולל שדות כמו רשימות מחרוזות של בדיקות שצריכות לעבור, ללא שדה קביעת סביבה ידני, שכן הגדרת הסביבה נגזרת ישירות מגרסת המאגר. כל הדוגמאות מרוכזות בחלק בדיקה יחיד שנועד להרצה מול סביבות מבודדות.
מתאים ל
- בדיקת סוכני קוד מרובי שפות
הרצת מודלים על פתרון תקלות ברובי, ראסט, ג'אווה ועוד שש שפות כדי לבדוק יכולת עבודה חוצת שפות.
- השוואה ללוח התוצאות הרשמי
מדידת ביצועים ישירה מול הלוח הציבורי של הבנצ'מרק באמצעות כלי ההרצה והדוקרים המוכנים.
- אימות כלי תיקון אוטומטיים
בחינת כלים שמייצרים פאצ'ים לקוד מול בדיקות יחידה אמיתיות מפרויקטים ציבוריים גדולים.
איפה זה נופל
המאגר קטן מאוד וכולל רק 300 מקרים בסך הכל. בחלק מהשפות כמו סי-פלוס-פלוס יש 12 דוגמאות משני מאגרים בלבד, כך שקשה להסיק מסקנות גורפות. טקסט הבעיות בעיקר באנגלית ולא עבר סינון לפי שפה, ואין כאן בכלל תמיכה בעברית. בנוסף, חלון הזמנים מגיע עד 2025, כך שחלק מהפתרונות עשויים כבר להופיע בנתוני האימון של מודלים חדשים.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, המאגר מפורסם תחת רישיון MIT שמאפשר שימוש מסחרי חופשי. צריך רק לכלול את תנאי הרישיון וזכויות היוצרים המקוריות בשימוש בנתונים.
האם יש במאגר אישיוז בעברית?
לא. הטקסטים מגיעים ממאגרי גיטהאב בינלאומיים והם בעיקר באנגלית. היוצרים מציינים שלא נעשה סינון שפות, אך אין שם נתונים בעברית.
במה הוא שונה מ־SWE-bench המקורי?
הבנצ'מרק המקורי התמקד בפייתון בלבד. הגרסה הזו מרחיבה את הפורמט לתשע שפות שונות ומכילה 300 מקרים מ־41 פרויקטים.
איך מריצים את הבדיקות בפועל?
משתמשים בחבילת ההרצה הרשמית של הפרויקט בפייתון. הכלי מושך אימג'ים מוכנים מדוקר האב ומריץ את בדיקות היחידה בסביבה מבודדת לכל בעיה.
איך טוענים
הנתונים יושבים בקובץ פארקט יחיד תחת תיקיית המידע ומיועדים להרצה עם כלי הבדיקה הרשמי של סווי-בנץ'. אין צורך לבקש אישור גישה. ההרצה דורשת דוקר כדי למשוך תמונות מוכנות מראש ממרחב השמות שלהם ברשת, ומבוצעת מול ספליט הבדיקה תוך שימוש בשדות הבדיקות המוגדרים כרשימות.
from datasets import load_dataset
ds = load_dataset("SWE-bench/SWE-bench_Multilingual")הרישיון
הרישיון הוא רישיון MIT מתירני. מותר להשתמש בנתונים לצרכים מסחריים ומחקר, לשנות אותם ולשלב אותם בכל מוצר, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא כופה שיתוף באותם תנאים על מודלים או פיתוחים שמסתמכים עליו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש