eva-bench

מה זה

המאגר מכיל 213 תרחישים מובנים המדמים שיחות קוליות מורכבות בשלושה תחומי שירות: מוקד שירות תעופה, משאבי אנוש בעולם הרפואי וניהול שירותי מחשוב ארגוניים. כל רשומה כוללת מטרות משתמש עם הבחנה בין תנאי חובה להעדפות גמישות, הקשר מפורט, מצב התחלתי של בסיס הנתונים לתרחיש ותמונת המצב הסופית המצופה בסיום המוצלח של הטיפול.

התוכן נוצר בצורה סינתטית באמצעות מודלי GPT-5 ותוכנן סביב מצבים שבהם המשתמש אינו יכול לקבל את מבוקשו האידיאלי ונאלץ להתמקח. התרחישים כוללים כלים ייעודיים לכל תחום, קריאות רבות לפעולות קריאה וכתיבה במאגר, ותרחישי תקיפה ובדיקת עמידות. כל רשומה נבדקה טקסטואלית מול GPT-5.4, Gemini 3 Pro ו־Claude Opus 4.6, לצד בקרה ידנית שאימתה שכל תרחיש ניתן לפתרון מלא.

מתאים ל

• הערכת סוכני קול

  בדיקת יכולת המשא ומתן וסגירת התקלות של סוכן אוטונומי בשיחות טלפון מורכבות.

• מדידת קריאות לכלים

  בחינת דיוק הפעלת פונקציות ועדכון נתונים מול מאגר מקומי ייעודי לכל תרחיש.

• מבחני עמידות לסוכנים

  הרצת משתמשי סימולציה נוקשים לבדיקת התמודדות הסוכן עם מצבים ללא פתרון אידיאלי.

איפה זה נופל

זהו כלי הערכה בלבד ולא חומר שמתאים לאימון מודלים, בגלל כמות זעירה של 213 תרחישים סינתטיים. כל הנתונים באנגלית ומוגבלים לשלושה תחומי תעשייה צרים מאוד. אין כאן הקלטות אודיו ממשיות אלא רק תבניות תרחיש ומבני נתונים, כך שאת סביבת הקול, הכלים והסימולציה תצטרכו להריץ בעצמכם מקוד המקור.

איך טוענים

הנתונים שמורים בקובצי JSONL ומחולקים לקובץ מלא או לפי תחומי הפעילות. המאגר פתוח לגישה ישירה ללא צורך באישור, ושוקל מעט מאוד בגלל היקף של 213 רשומות בלבד. בעת הטעינה חשוב לעבוד עם השדות initial_scenario_db המגדיר את מצב הנתונים הראשוני, user_goal שמכתיב את התנהגות הסימולטור, ו־ground_truth שמחזיק את מצב היעד לבדיקת המערכת שלכם.

from datasets import load_dataset

ds = load_dataset("ServiceNow-AI/eva-bench")

הרישיון

הרישיון הוא MIT, המעניק חופש מלא לשימוש מסחרי, מחקרי, שינוי והפצה ללא דרישה לשיתוף תחת אותו רישיון. החובה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי. מודלים או מערכות שנבדקים מולו אינם מוגבלים משפטית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗