TACO-verified

מה זה

הנתונים מתבססים במקור על סט האימון של TACO מבית BAAI, שמכיל בעיות תכנות ופתרונות קוד. היוצר הריץ את כל הפתרונות על מעבדי Intel E5-2620 v3 עם מגבלת זמן של 10 שניות לכל ריצה, וזרק החוצה כל פתרון שלא עבר בהצלחה את כל מקרי הבדיקה. בעיות שלא נשאר להן אפילו פתרון תקין אחד נמחקו לגמרי מהקובץ.

הסינון הזה השאיר 1,043,251 פתרונות תקינים מתוך כמעט מיליון וחצי במקור, שמתפרסים על פני 12,898 בעיות בלבד מתוך מעל 25 אלף שהיו ב־TACO המקורי. התוצאה היא מאגר מרוכז שמתמקד בפתרונות שעובדים בפועל תחת אילוצי הריצה שהוגדרו, בלי חלוקות מורכבות.

מתאים ל

• אימון מודלי שפה לקוד

  אימון או כוונון עדין של מודלים לייצור פתרונות תכנות על בסיס קוד שנבדק ואושר.

• הערכת ביצועי מודלים

  בדיקה של יכולת מודלים קיימים לפתור בעיות מוגדרות מול פתרונות נכונים קיימים.

• מחקר על איכות דאטה

  השוואת תוצאות אימון בין דאטהסט מסונן לבין דאטהסט שמכיל שגיאות קוד.

איפה זה נופל

הנתונים קיימים באנגלית בלבד וכוללים בעיות תכנות מוגדרות מראש, בלי שום נגיעה לעברית או לטקסט חופשי מקומי. הסינון התבסס על חומרה ספציפית ומגבלת זמן של עשר שניות, מה שאומר שפתרונות נכונים שדורשים יותר זמן או זיכרון נזרקו לפח. בנוסף, חצי מכמות הבעיות המקוריות נמחקה כי לא נמצא להן פתרון שעבר, ולכן המגוון האלגוריתמי הצטמצם בחצי לעומת המקור.

איך טוענים

טוענים את המאגר ישירות מתוך Hugging Face בעזרת הספרייה datasets או מורידים ישירות את הקובץ taco_verified.json מתוך שלושת הקבצים שבמאגר. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח לכולם. השדות המרכזיים מתמקדים בתיאורי הבעיות ובפתרונות שעברו את הטסטים, כך שצריך לחלץ את הטקסט והקוד הרלוונטיים לאימון.

from datasets import load_dataset

ds = load_dataset("likaixin/TACO-verified")

הרישיון

הרישיון המדווח הוא MIT. מותר להשתמש בו לצרכים מסחריים ולמחקר, לשנות אותו ולשלב אותו במוצרים, כל עוד שומרים על הודעת הרישיון וזכויות היוצרים המקוריות. אין חובת שיתוף של מודלים שתאמנו עליו תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗