LEval

מה זה

המאגר מיועד להערכה של מודלים בהקשר ארוך ומכיל 2,043 זוגות של שאילתה ותשובה שנבנו על גבי 411 מסמכים ארוכים. היוצרים מציינים שכל הדגימות עברו תיוג ובדיקה ידנית על ידם, כדי לוודא איכות גבוהה ולא להסתמך על חיתוך עיוור של טקסטים.

המבנה מחולק ל־18 משימות שונות שמכסות תחומים נרחבים. בין המשימות תמצאו סיכום של פגישות, דוחות ממשלתיים, פטנטים ותוכניות טלוויזיה, לצד מענה על שאלות מתוך חוזים משפטיים, דוחות פיננסיים, מאמרים מדעיים וקורסים של Coursera. יש כאן גם משימות שליפת נושאים ולמידה מתוך הקשר עם שרשראות חשיבה ארוכות.

מתאים ל

• בדיקת זיכרון ארוך

  מדידת יכולת המודל לשלוף פרטים מדויקים מתוך מסמכים של עשרות עמודים.

• השוואת מנועי סיכום

  הערכת איכות הסיכום של טקסטים מורכבים כמו דוחות כספיים ופרוטוקולים.

• מבחן ביצועים להסקה

  בדיקת יכולת המענה על שאלות רב-ברירתיות הדורשות שרשרת חשיבה מעמיקה.

איפה זה נופל

הנתונים כולם באנגלית בלבד. אם המוצר שלכם צריך לעבוד בעברית, המאגר הזה לא ייתן לכם שום אינדיקציה לביצועים. הוא גם לא מיועד לאימון אלא לבדיקה בלבד, עם קצת יותר מאלפיים דוגמאות בסך הכל. כרטיס הדאטהסט לא מפרט הטיות פנימיות, ומפנה לגיטהאב לפרטים על אופן האיסוף, כך שתצטרכו לבדוק בעצמכם אם המסמכים מייצגים את סוג הטקסטים שהמודל שלכם יפגוש בפועל.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה L4NLP/LEval או מורידים את הקבצים מהמאגר, שכולל 24 קבצים וסקריפט טעינה בשם LEval.py. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה מיידית. הנתונים שמורים כקובצי jsonl לפי המשימות השונות, כמו codeU, coursera, או quality, כך שאפשר למשוך רק את התחום שמעניין אתכם להערכה.

from datasets import load_dataset

ds = load_dataset("L4NLP/LEval")

הרישיון

הרישיון המדווח הוא gpl-3.0. זה רישיון קוד פתוח מדבק שמחייב שיתוף באותו רישיון. בעוד ששימוש להערכה ומדידה של מודל נחשב בטוח בדרך כלל, אימון ישיר של מודל מסחרי סגור על הנתונים האלה עלול להוות סיכון משפטי ולחייב פתיחה של הקוד, ולכן עדיף להגביל את השימוש בו לבנצ'מרק בלבד.

הרישיון המלא ב־Hugging Face ↗