EvasionBench

מה זה

במאגר יש 16,726 זוגות של שאלות ותשובות שנלקחו מתמלילי שיחות של חברות על דוחות כספיים. כל רשומה כוללת את שאלת האנליסט, את תשובת ההנהלה, מזהה ייחודי ותווית שמדרגת את רמת ההתחמקות. התוויות חולקו באמצעות מודל ייעודי בשם Eva-4B-V2 שסווג את הטקסטים לשלוש רמות שונות לפי מידת הישירות של התשובה.

המבנה של הנתונים מחולק לדרגות ברורות. כחצי מהרשומות, 8,749 דוגמאות שהן 52.3 אחוז, מוגדרות כתשובות ישירות עם מספרים ברורים או עמדה מפורשת. עוד 7,359 דוגמאות, המהוות 44 אחוז, מסווגות כרמת ביניים שבה התשובה מספקת הקשר כללי ומסביב אך מתחמקת מלב העניין או נותנת טווח במקום נקודה מדויקת. החלק הקטן ביותר מכיל 618 דוגמאות בלבד, כ־3.7 אחוז, שבהן ההנהלה התעלמה לחלוטין מהשאלה, סירבה לענות או דיברה על נושא אחר לגמרי.

הקבצים עברו תהליך של הסרת כפילויות כפי שמעיד שם הקובץ המרכזי. הנתונים לא מופרדים מראש לחלוקות אימון ובדיקה בכרטיס, והם מיועדים למשימת סיווג טקסט של שיח כלכלי מורכב.

מתאים ל

• סיווג תגובות מנכ״לים

  זיהוי אוטומטי של התחמקות מתשובות קונקרטיות במהלך שיחות משקיעים של חברות ציבוריות.

• בדיקת ביצועי מודלי שפה

  מבחן ביצועים למודלים פתוחים או סגורים על יכולת הבנת ניואנסים ותשובות עקיפות באנגלית עסקית.

• אימון מסנני תוכן פיננסי

  שיפור מודלים המיועדים לסוכנויות ידיעות או אנליסטים לסינון רעש בתמלילי שיחות כספיות.

איפה זה נופל

הבעיה הגדולה ביותר כאן היא חוסר איזון חריף בין המחלקות, כשקטגוריית ההתחמקות המלאה כוללת רק 618 רשומות, פחות מארבעה אחוזים מהסך הכולל. אם תאמנו על זה מודל בלי טיפול בהטיה, הוא פשוט ילמד להתעלם מקיומה של התחמקות מלאה. חיסרון משמעותי נוסף הוא שכל התוויות הן תוצר של מודל שפה מסוים ולא תיוג אנושי שנבדק ידנית, מה שאומר שההטיות של המודל המתייג הוטמעו ישירות בנתונים. בנוסף, הטקסטים כולם באנגלית מעולם הדוחות הכספיים של חברות בורסאיות, כך שזה לא יעזור בניתוח שיחות בעברית או בשוק המקומי.

איך טוענים

טוענים את המאגר ישירות בספריית datasets עם הפקודה הרגילה, או פותחים את קובץ ה־Parquet בשם evasionbench_17k_eva4b_labels_dedup דרך ספריית פנדס. הגישה חופשית לגמרי בלי צורך באישור מראש או ברישום. השדות המרכזיים שמעניינים אתכם הם question, answer, והסיווג שנמצא תחת eva4b_label. הקובץ עצמו קטן, מכיל פחות מעשרים אלף שורות טקסט, ולכן נטען תוך שניות בודדות על כל מחשב רגיל.

from datasets import load_dataset

ds = load_dataset("FutureMa/EvasionBench")

הרישיון

המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה ללא תשלום תמלוגים. אתם יכולים לאמן עליו מודלים, להשתמש בו למחקר או לשלב אותו במוצר מסחרי, בתנאי שתשמרו על הודעת זכויות היוצרים והרישיון המקורי. הרישיון אינו כופה עליכם לחשוף את קוד המקור או לפתוח מודלים שתאמנו עליו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗