VitaBench

מה זה

המאגר כולל משימות לבחינת סוכנים חכמים, שנבנו על בסיס בקשות משתמשים אמיתיות בשירותי יומיום. המשימות מחולקות לתרחישים בודדים ולתרחישים משולבים בתחומי משלוחים, רכישה בחנויות ושירותי נסיעות מקוונים. כל משימה דורשת מהמודל לנהל שיחה רב שלבית, לברר הוראות עמומות, להתמודד עם שינויי כוונות של המשתמש, ולבצע פעולות תוך שילוב שיקולי זמן ומרחב.

המבנה הפנימי מחולק לארבעה חלקים עיקריים שכוללים מאה משימות רב תחומיות ושלוש מאות משימות לתחומים בודדים, מאה לכל תחום. הנתונים מלווים בסביבות סימולציה עם מסדי נתונים של אלפי ספקי שירות ומוצרים, לצד מאגר של שישים ושישה כלי עבודה. הכלים מחולקים לכלי קריאה, כלי כתיבה וכלים כלליים, שמדמים קריאות תוכנה מציאותיות ושינויי נתונים במערכות.

מתאים ל

• הערכת סוכנים בשימוש בכלים

  בדיקת יכולת המודל להפעיל עשרות כלי קריאה וכתיבה ברצף הגיוני לצורך פתרון בעיה.

• מבחן ביצועים רב שלבי

  מדידת הדיוק של סוכן בשיחות ממושכות שבהן המשתמש משנה כיוון ומעדכן דרישות בזמן אמת.

• אימון על משימות משולבות

  כוונון מודלים על תרחישים שמחברים בין הזמנת מוצרים, משלוחים ותיאום שירותים שונים יחד.

איפה זה נופל

הנתונים מוגבלים לשפות אנגלית וסינית בלבד, כך שאין שום תמיכה או ייצוג לעברית או לשווקים מקומיים בארץ. התחומים משקפים שירותים ספציפיים מאוד של משלוחים ונסיעות, שלא בהכרח מייצגים סביבות ארגוניות או משימות קוד. בנוסף, מודלים מובילים מגיעים רק לעד שלושים ושניים וחצי אחוזי הצלחה במשימות הרב תחומיות, מה שמעיד על קושי קיצוני שעלול להקשות על מדידת שיפורים קטנים במודלים חלשים.

איך טוענים

הנתונים מאורגנים בקובצי JSON לפי תחומים, כולל גרסאות נפרדות באנגלית ובסינית כמו tasks.json וקבצים ייעודיים לתרחישים רב תחומיים. המאגר פתוח להורדה ישירה ללא צורך באישור גישה. כדי להריץ את ההערכה צריך למשוך את קוד הסביבה מהמאגר של הפרויקט, להגדיר את החיבורים בין התחומים הרצויים, ולהשתמש במעריך הייעודי שמשווה את פעולות הסוכן מול הכלים ומסדי הנתונים.

from datasets import load_dataset

ds = load_dataset("meituan-longcat/VitaBench")

הרישיון

הרישיון הוא רישיון MIT מתירני. מותר להשתמש במאגר למטרות מסחריות, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים פרטיים. הדרישה היחידה היא שמירה על הודעת זכויות היוצרים ונוסח הרישיון המקורי. מודל שתאמנו או תעריכו באמצעותו אינו כבול במגבלות פתיחת קוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗