LVEval
קוד פתוחInfinigencemit2024-02-06
מבחן ביצועים להערכת מודלי שפה על טקסטים ארוכים במיוחד עד 256 אלף מילים. הדאטה בודק יכולת שליפה והסקה מורכבת מתוך ערבוב מכוון של מסמכים מסיחים.
- 2,606הורדות בחודש
- 15לייקים
מה זה
המאגר מורכב מ־11 תתי-מערכים דו-לשוניים באנגלית ובסינית, שמחולקים לשתי משימות עיקריות: מענה לשאלות של שלב אחד ומענה רב-שלבי שדורש הצלבת עובדות מכמה מקורות. כל רשומה כוללת הנחיה קצרה, מסמך קשר ארוך, תשובות נכונות, מילות מפתח מתוך התשובות, ועובדות מבלבלות שהוכנסו במכוון.
הבסיס נאסף ממאגרים מוכרים כמו HotpotQA, 2WikiMultihopQA, LooGLE, CMRC 2018, LongBench וספרים מתוך PG-19. כדי למנוע דליפת מידע מהאימון המקורי של המודלים, מתייגים אנושיים החליפו ביטויים ומילות מפתח במונחים לא מוכרים. בנוסף, GPT-4 ייצר עובדות מסיחות שנבדקו ידנית והוטמעו בתוך הטקסט לצד מסמכים לא רלוונטיים.
המבנה מסודר בחמש רמות אורך קבועות: 16 אלף, 32 אלף, 64 אלף, 128 אלף ו־256 אלף מילים. אותן שאלות בדיוק נבדקות מול רמות הקשר שונות, כדי לבודד את השפעת האורך על יכולת ההסקה של המודל.
מתאים ל
- בדיקת חלון הקשר ארוך
מדידת עמידות המודל באורכי טקסט של עד 256 אלף מילים באנגלית ובסינית.
- בחינת יכולת הסקה רב-שלבית
בדיקת יכולת המודל לאסוף פיסות מידע מרוחקות ולהתעלם מעובדות סותרות שהושתלו בכוונה.
- הערכת עמידות להסחות דעת
בדיקה אם המודל נצמד להקשר הנתון או נופל להזיות בגלל ידע קודם ששונן באימון.
איפה זה נופל
המאגר מכיל רק אנגלית וסינית, ואין בו שום תמיכה בעברית. מדובר בדאטהסט מבחן קטן יחסית מבחינת כמות השאלות הייחודיות, כאשר חלק מתתי-המאגרים מכילים בקושי 100 עד 200 זוגות שאלות ותשובות, ובשניים מהם יש רק שאלה סינתטית אחת שמושתלת במקומות שונים. לא מדובר בחומר לאימון מודלים אלא בכלי הערכה בלבד. בנוסף, העובדות המסיחות נוצרו על ידי GPT-4, כך שהן עלולות לשאת הטיות סגנוניות של המודל הזה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
המאגר מוגדר ברישיון MIT כללי, אבל כולל שני תתי-מאגרים שמפורסמים תחת CC-BY-SA-4.0. אם אתם משתמשים רק בחלקים שמבוססים על MIT, אין מגבלה מסחרית. שימוש בשני החלקים המוגבלים יחייב אתכם לשתף תוצרי המשך תחת אותו רישיון.
האם יש במאגר דוגמאות בעברית?
לא. כל הנתונים כתובים באנגלית או בסינית בלבד. אם המטרה שלכם היא להעריך ביצועים של מודל על מסמכים ארוכים בעברית, המאגר הזה לא ייתן לכם מענה ישיר.
האם המאגר מתאים לאימון מודלים?
המאגר נבנה במפורש כבנצ'מרק להערכת ביצועים ולא כדאטהסט אימון. כמות זוגות השאלות והתשובות קטנה מאוד, לרוב בין 100 ל־200 דוגמאות בכל תת-מערך, והערך שלו הוא במדידה מבוקרת של חלון ההקשר.
במה הוא שונה ממבחני מחט בערימת שחת רגילים?
מעבר למציאת עובדה בודדת, הוא כולל שאלות מורכבות שמחייבות איסוף מידע מכמה פסקאות שונות. בנוסף, הטקסטים כוללים עובדות מטעות שנועדו לבלבל את המודל, ומילות המפתח הוחלפו כדי למנוע הצלחה המבוססת על שינון מוקדם.
איך טוענים
טוענים דרך ספריית datasets של Hugging Face תוך ציון שם תת-המאגר ורמת האורך המבוקשת, למשל hotpotwikiqa_mixup_16k עם split='test'. אין צורך באישור גישה מראש. הקבצים שמורים במקור כארכיוני zip עבור כל תת-מערך ומכילים קובצי jsonl. אם אתם בונים קוד הערכה משלכם, שימו לב לשדות answer_keywords ו־confusing_facts, שמשמשים לחישוב מדדי הדיוק הייעודיים של הבנצ'מרק.
from datasets import load_dataset
ds = load_dataset("Infinigence/LVEval")הרישיון
יש פה פיצול רישיונות שחשוב להכיר. רוב תתי-המאגרים והקוד מפורסמים תחת רישיון MIT שמאפשר שימוש מסחרי חופשי, אך שני חלקים ספציפיים, cmrc_mixup ו־lic_mixup, כפופים לרישיון CC-BY-SA-4.0. רישיון זה דורש ייחוס ומחייב שיתוף של יצירות נגזרות תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש