MAST-Data

מה זה

המאגר כולל הרצות מלאות שנאספו משבע סביבות סוכנים שונות, בהן MetaGPT, ChatDev ו־AG2, לצד שמונה מבחני ביצועים מוכרים כמו SWE-Bench-Lite, GAIA ו־MMLU. המודלים שמריצים את הסוכנים כוללים בין היתר את GPT-4o, Claude, ו־Qwen, כך שהנתונים משקפים התנהגות של כמה ארכיטקטורות שונות מול משימות תכנות וחשיבה.

הקובץ המרכזי מכיל 1642 שורות שכוללות את מסלול הריצה המלא ותיוג בינארי ל־14 דפוסי כשל מוגדרים. דפוסי הכשל מחולקים לשלוש קטגוריות: חוסר עמידה במפרט המשימה, בעיות תיאום ותקשורת בין הסוכנים, וכשלים באימות ובדיקת התוצאות. קובץ נוסף במאגר מחזיק 19 דוגמאות בלבד, ששימשו לבדיקת הסכמה בין שלושה מתייגים אנושיים.

מתאים ל

• אימון שופט כשלים

  פיתוח מודל שמזהה בזמן אמת חריגה של סוכן מהוראות או כניסה ללולאה תקועה.

• הערכת עמידות סוכנים

  בדיקת המערכת שלכם מול 14 נקודות התורפה הנפוצות בתיאום בין סוכנים שונים.

• מחקר על אובדן הקשר

  ניתוח הרצות שבהן סוכנים מתעלמים מקלטים של סוכנים אחרים במהלך שיחה מתמשכת.

איפה זה נופל

התיוגים בקובץ המרכזי נוצרו על ידי שופט מבוסס מודל שפה ולא על ידי מומחים אנושיים, כך שיש לקחת בחשבון הטיות וטעויות פענוח מובנות של מודלים. קובץ התיוג האנושי קטן מאוד וכולל 19 רשומות בלבד. מעבר לזה, באותו קובץ אנושי נעשה שימוש בגרסאות שונות של הטקסונומיה בכל סבב, כך שהקודים שם אינם בני השוואה ישירה ביניהם. אין במאגר עברית, הכל באנגלית ובקוד.

איך טוענים

הנתונים יושבים בקובצי JSON סטנדרטיים ואין צורך לבקש אישור גישה כדי להוריד אותם מההאב. הקובץ המרכזי נקרא MAD_full_dataset.json, וכל רשומה בו מחזיקה את פרטי המסגרת, שם המודל, מזהה הריצה, נתיב הריצה המלא ואובייקט תיוגים. בתוך שדה התיוג תמצאו ערכים של אפס, אחת או ערך ריק עבור 14 סוגי הכשל.

from datasets import load_dataset

ds = load_dataset("mcemri/MAST-Data")

הרישיון

הרישיון הוא CC-BY 4.0, מה שאומר שמותר להשתמש בחומרים למטרות מחקר וגם למטרות מסחריות מלאות. הדרישה היחידה היא לתת קרדיט ברור לחוקרים שפרסמו את העבודה. אין כאן חובת שיתוף זהה, כך שתוכלו לאמן מודלים או לשלב את הנתונים במוצר מסחרי סגור בלי לחשוף את הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗