CodeEditorBench
קוד פתוחm-a-papache-2.02024-04-01
מאגר לבדיקת יכולות עריכת קוד של מודלים בארבעה תרחישים מעשיים. הוא מתאים למי שרוצה לבדוק דיבאגינג, שכתוב והסבת דרישות במקום יצירת קוד מאפס.
- 555הורדות בחודש
- 24לייקים
מה זה
המאגר מחולק לקבצי JSONL לפי תרחישי עבודה שונים: איתור ותיקון שגיאות, שיפור וליטוש קוד, ושינוי דרישות. כל משימה מחולקת לשתי רמות קושי שמופיעות כקבצי primary או plus, כאשר החומרים עצמם נאספו מחמישה מקורות שונים שמכסים מגוון שפות תכנות ורמות מורכבות.
המטרה היא לתת מענה למשימות של פיתוח תוכנה בעולם האמיתי, בניגוד למבחנים שבודקים רק השלמת פונקציות פשוטות. לפי הכרטיס, המתייגים הונחו לאסוף רק ממקורות שמתירים העתקה והפצה מחדש, אך פרטי הסינון המדויקים של הנתונים ושמות חמשת המקורות לא צוינו בטקסט עצמו.
מתאים ל
- הערכת מודלי פיתוח
בדיקת איכות של מודלי שפה בעריכה ותיקון קוד במקום רק במשימות יצירה.
- מבחן ביצועים לדיבאגינג
מדידת יכולת המודל לתקן באגים קיימים לפי רמות קושי מוגדרות.
- בדיקת שיפור קוד
הערכת יכולת אופטימיזציה וליטוש של קוד קיים בעזרת מדד OptScore.
איפה זה נופל
הכרטיס לא מפרט אילו שפות תכנות כלולות בפנים ובאיזה יחס, מה שמקשה לדעת אם התחום שלכם מכוסה היטב. חסר גם פירוט על חמשת המקורות שמהם המידע הגיע. בנוסף, מדובר במאגר הערכה ולא בחומר אימון רחב, והיוצרים מציינים בעצמם שייתכנו חריגות זכויות יוצרים ומבקשים לפנות אליהם להסרת דגימות בעייתיות.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון המדווח הוא apache-2.0 שמאפשר שימוש מסחרי מלא. צריך לשמור על מתן קרדיט והצגת תנאי הרישיון המקורי. עם זאת, היוצרים מציינים שאם דגימה מפרה זכויות יוצרים של מקור מקורי היא תוסר, ולכן כדאי לוודא שהדאטה לא חושף אתכם משפטית.
האם המאגר כולל תמיכה בעברית?
המאגר מיועד למשימות קוד ומבוסס על מקורות תכנות באנגלית. אין בו נתונים בעברית, לא בהנחיות ולא בהערות שבתוך הקוד. אם אתם מחפשים לבדוק יכולות של עבודה עם שפה מקומית, זה לא הכלי המתאים.
במה הוא שונה ממאגרי הערכת קוד אחרים?
רוב המבחנים מתרכזים ביצירת קוד מאפס מתוך תיאור טקסטואלי בלבד. כאן הדגש הוא על עריכה מעשית: תיקון באגים קיימים, תרגום בין דרישות ושכתוב קוד קיים. הנתונים מחולקים למשימות ספציפיות כדי לבודד יכולות עבודה שונות של מפתחים.
איך טוענים
הקבצים יושבים ישירות במאגר בפורמט JSONL פתוח, כך שאין צורך בהרשאה מיוחדת או בבקשת גישה מראש. אפשר למשוך אותם ישירות דרך ספריית הדאטהסטים או להוריד את הקבצים הבודדים לפי התרחיש שמעניין אתכם, למשל קובץ הדיבאג או השכתוב ברמת primary או plus. לפני שמתחילים להריץ, קחו בחשבון שהבדיקה מתבססת על מדדי pass@1 עבור תיקון והסבה, ומדד ייעודי בשם OptScore עבור ליטוש קוד, כך שתצטרכו להכין את סביבת ההרצה שלכם למדדים האלה.
from datasets import load_dataset
ds = load_dataset("m-a-p/CodeEditorBench")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש חופשי כולל שימוש מסחרי ושינוי הקבצים, כל עוד שומרים על הודעת הרישיון והקרדיט למחברים המקוריים. אפשר להשתמש בו כדי להעריך מודלים פנימיים או מסחריים בלי חובת שיתוף של הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים