humaneval-x

מה זה

המאגר כולל 820 בעיות קידוד שנכתבו בידי אדם כדי לבדוק יכולות של מודלים בריבוי שפות. הוא מחולק לחמש שפות תכנות שונות: פייתון, פלוס פלוס C, ג'אווה, ג'אווה סקריפט ו־Go. בכל אחת מהשפות האלה יש בדיוק 164 משימות, והן מאורגנות תחת פיצול יחיד של בדיקה, ללא חלוקה מובנית של אימון או וולידציה.

כל רשומה מגיעה בפורמט מובנה שכולל מזהה משימה, פרומפט עם הצהרת הפונקציה והתיעוד שלה, וכן שדה הצהרה נפרד שמיועד למשימות תרגום קוד. לצד אלה תמצאו פתרון קנוני שנכתב ידנית, בדיקות מוסתרות שמשמשות להרצה ולהערכה, ובדיקות לדוגמה שמופיעות ישירות בתוך הפרומפט.

מתאים ל

• בדיקת מודלים בריבוי שפות

  הרצת מבחני ביצועים זהים על פייתון, ג'אווה, Go ושפות נוספות כדי להשוות איכות.

• תרגום קוד אוטומטי

  שימוש בשדה ההצהרה והפתרונות הקנוניים לבדיקת תרגום של אותה לוגיקה בין שפות.

• אימות יצירת פונקציות

  בדיקה אוטומטית של קוד שנוצר בעזרת טסטים מובנים ומוסתרים לכל בעיה.

איפה זה נופל

יש פה רק 164 בעיות בכל שפה, כך שזה לא מתאים לאימון מודלים אלא רק לבנצ'מרק נקודתי. המאגר מוגבל אך ורק לחמש שפות התכנות שהוגדרו, בלי שום שפות טבעיות נוספות ובלי עברית. בנוסף, מדובר בבעיות פונקציונליות עצמאיות שנכתבו עד ספטמבר 2022, ולא במערכות קוד מורכבות או בפרויקטים שלמים מרובי קבצים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets, אבל חייבים לבחור תת קבוצה ספציפית מתוך הרשימה, אחרת ברירת המחדל תטען רק את פייתון. הגישה חופשית לגמרי בלי צורך באישורים מיוחדים, והקבצים שמורים כקובצי jsonl לפי שפה. כשמריצים בדיקות, השדות החשובים הם הפרומפט לצורך יצירה והטסטים להרצה בפועל מול הפתרון שהמודל מייצר.

from datasets import load_dataset

ds = load_dataset("zai-org/humaneval-x")

הרישיון

הרישיון הוא Apache 2.0, מה שמאפשר שימוש מסחרי, שינוי והפצה חופשית. אתם מחויבים לכלול ייחוס למפתחים המקוריים ואת עותק הרישיון, אבל אין דרישה לשתף תוצרים או מודלים שנבדקו תחת אותו רישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗