DebugBench

מה זה

הנתונים נשענים על פתרונות נכונים שנאספו מקהילת ליטקוד, כולם פורסמו אחרי יוני 2022. החוקרים השתמשו ב־GPT-4 כדי להשתיל בפתרונות האלה שגיאות מוגדרות, ולאחר מכן ביצעו בדיקות איכות. החלוקה הפנימית כוללת ארבע קטגוריות ראשיות של באגים ו־18 תתי-סוגים, ברמות קושי שנעות בין קל, בינוני לקשה, עבור פייתון, ג'אווה ו-++C.

כל רשומה במאגר מכילה 13 שדות, ביניהם תיאור השאלה המקורית, דוגמאות קלט ופלט, אילוצים, הפתרון התקין, הקוד השגוי שדורש תיקון, והסברים על הפתרון ועל הבאג שהושתל. אין פה חלוקה לסט אימון וסט מבחן. כל 4,253 הדוגמאות מרוכזות בפיצול יחיד שנועד להערכה.

מתאים ל

• הערכת מודלים בדיבאגינג

  בדיקת היכולת של מודלי שפה לאתר שגיאות בקוד פייתון, ג'אווה ו-++C ולתקן אותן בהתאם להסברים.

• בנצ'מרק השוואתי למפתחים

  הרצת מודלים שונים מול טסטים סגורים בליטקוד כדי לקבל ציון הצלחה מספרי ואחיד לתיקון באגים.

• סיווג סוגי שגיאות בקוד

  אימון ובדיקה של כלים שנועדו לסווג באגים לפי טקסונומיה מוגדרת מראש של 18 תתי-סוגים.

איפה זה נופל

הבאגים כאן נוצרו באופן סינתטי על ידי מודל שפה, ולכן הם לא בהכרח מייצגים את המורכבות והבלגן של באגים במערכות אמיתיות. בנוסף, החוקרים מציינים אי-התאמות בחלק מתתי-הסוגים. למשל, ניסיון לייצר שגיאה של פונקציה לא מוגדרת הוביל בפועל לקוד שנכנס ללולאה אינסופית. הטקסט כולו באנגלית והקוד מוגבל לשלוש שפות בלבד, כך שאין כאן שום כיסוי לשפות אחרות או לבעיות תוכנה רחבות מעבר לאלגוריתמיקה נקודתית.

איך טוענים

הנתונים יושבים בקובץ eval.json בתוך המאגר הציבורי, בלי צורך באישור גישה מיוחד. כדי להריץ בדיקה בפועל לא מספיק להסתכל על הטקסט. תצטרכו להשתמש בחבילת leetcode_env ולהגדיר משתנה סביבה עם עוגיית התחברות לחשבון ליטקוד שלכם, כדי להריץ את התיקונים מול מערך הבדיקות הסגור של הפלטפורמה.

from datasets import load_dataset

ds = load_dataset("Rtian/DebugBench")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון. אפשר לאמן או להעריך מודלים על הנתונים בלי חובת שיתוף של הקוד שלכם באותו רישיון. עם זאת, מקור הקוד הוא פתרונות משתמשים מליטקוד, נקודה ששווה לתת עליה את הדעת מבחינת זכויות יוצרים לפני שילוב במוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗