AutoCodeBenchmark

מה זה

המאגר כולל בעיות תכנות שנוצרו בתהליך אוטומטי בעזרת מודלי שפה וסביבת ריצה מבודדת. המודלים מייצרים קלט ופתרון, והסביבה בודקת את התוצאות בפועל כדי לוודא תקינות. כל רשומה כוללת את ניסוח השאלה, פתרון קוד תקני, שפת הפיתוח, רמת הקושי ובדיקות יחידה ציבוריות ופרטיות לצורך הרצה ובקרה.

התוכן מחולק לכמה קבצים וגרסאות. המאגר הראשי מכיל 3,920 שאלות, גרסת הלייט כוללת 1,586 בעיות שנפתרו בהצלחה על ידי לפחות שני מודלים שונים, וגרסת ההשלמה כוללת 1,000 בעיות להערכת מודלי בסיס בהנחיית שלוש דוגמאות. קיימים במאגר גם קובצי נתונים נוספים כמו גרסה 2 ותשובות של מודלים ספציפיים.

מתאים ל

• בדיקת מודלים בריבוי שפות

  הרצת מבחני ביצועים מדויקים על 20 שפות תכנות שונות ברמת קושי גבוהה ומאוזנת.

• הערכת מודלי בסיס

  שימוש בגרסת ההשלמה לבדיקת יכולות יצירת קוד באמצעות פרומפט של שלוש דוגמאות.

• סינון מודלים לפי קושי

  הערכה מהירה על גרסת הלייט שמכילה משימות פתירות שמתאימות לסינון ראשוני.

איפה זה נופל

כל הבעיות והפתרונות נוצרו באופן סינתטי על ידי מודלים, ולמרות הבדיקה בסביבת הרצה, עלולות להיות הטיות בסגנון הקוד או בעיות בניסוח השאלות. הטקסט וההוראות כתובים באנגלית בלבד. בנוסף, הערכה אמינה תלויה לחלוטין בהרמת שירות הדוקר של טנסנט, מה שמוסיף מורכבות תשתיתית ודורש משאבי ריצה מקומיים כדי לבדוק כל פלט.

איך טוענים

הנתונים מגיעים בקובצי jsonl פשוטים שניתן לקרוא ישירות, ללא צורך בהרשאת גישה מיוחדת. השדות המרכזיים לעבודה הם question שמכיל את תיאור המשימה, language שמציין את השפה, וקובצי הבדיקות להרצה. לצורך הערכת ביצועים אמיתית לא מספיק להשוות טקסט, אלא יש להרים קונטיינר דוקר ייעודי שסיפקה החברה, המריץ את הקוד בשרת מקומי ובודק מעבר בדיקות באמצעות קריאות רשת.

from datasets import load_dataset

ds = load_dataset("tencent/AutoCodeBenchmark")

הרישיון

בעמוד המאגר מופיע קובץ רישיון בשם LICENSE אך סוג הרישיון לא סווג בפרטים הרשמיים של הדף. לא ברור אם מותר להשתמש במידע לצורך מסחרי, מהם תנאי הייחוס והאם מותר לאמן מודלים שיופצו באופן חופשי. עד שלא בודקים את הקובץ ישירות מול הייעוץ המשפטי, מסוכן לשלב את המידע באימון מוצר מסחרי.

הרישיון המלא ב־Hugging Face ↗