LooGLE
קוד פתוחbigai-nlcocc-by-sa-4.02023-10-21
מבחן ביצועים להערכת מודלי שפה על טקסטים ארוכים במיוחד של מעל 24 אלף תווים. המאגר כולל 6,000 שאלות שנבנו על מסמכים מציאותיים שפורסמו אחרי שנת 2022.
- 1,929הורדות בחודש
- 17לייקים
מה זה
המאגר מיועד לבדיקת הבנה של הקשרים קצרים וארוכים, ומכיל בין 1,000 ל־10,000 רשומות המחולקות לקבצי jsonl לפי סוג המשימה: שאלות ותשובות עם תלות קצרה, שאלות השלמת מילים, שאלות עם תלות ארוכה ומשימות סיכום. המטרה במשימות התלות הארוכה היא לאלץ את המודל לאסוף ראיות מרובות שמפוזרות על פני מסמך שלם ולא לשלוף עובדה בודדת שקבורה בפסקה אחת.
המסמכים נאספו ממקורות מציאותיים בתחומים שונים וכוללים מאמרי ArXiv וטקסטים שמגיעים לעיתים ליותר מ־100 אלף מילים. השאלות נוצרו מחדש וכוללות סימונים של משפטי הראיות המדויקים מתוך הטקסט, לצד סיווג של משימות התלות הארוכה להבנה והסקה, חישוב, סידור ציר זמן, אחזור מידע מרובה וסיכום.
מתאים ל
- הערכת מודלי הקשר ארוך
בדיקת יכולת המודל לשלוף ולחבר נתונים ממסמכים של עשרות אלפי מילים.
- מדידת יכולת סיכום
השוואת איכות תקצירים למאמרים מורכבים מול תשובות ייחוס שנבדקו אנושית.
- בדיקת הסקה רב-שלבית
בחינת משימות חישוב ובניית ציר זמן שדורשות איסוף ראיות מכמה נקודות בטקסט.
איפה זה נופל
כל הטקסטים במאגר הם באנגלית בלבד, כך שהוא לא יעזור ישירות למי שבונה או בודק מודלים בעברית. הנתונים מתבססים על מסמכים שפורסמו אחרי 2022 כדי לצמצם דליפה של מידע מאימונים קודמים, אבל היקף השאלות הכולל עומד על כ־6,000 בלבד, מה שהופך אותו לכלי הערכה ולא למאגר שמספיק לאימון מלא. אם המערכת שלכם נשענת על טקסטים קצרים או שפות אחרות, הבנצ'מרק הזה לא ישקף את הביצועים בעולם האמיתי.
שאלות
נפוצות
האם המאגר מתאים לעבודה בעברית?
לא. כל המסמכים והשאלות ב־LooGLE נכתבו באנגלית בלבד. אם המוצר שלכם מיועד לעברית, תצטרכו לתרגם את הנתונים או לחפש מקורות מקומיים לבדיקה.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הוא cc-by-sa-4.0 שמתיר עקרונית שימוש מסחרי, אך דורש מתן קרדיט ושיתוף של כל עבודה נגזרת תחת אותו רישיון בדיוק. אימון מודל עלול להיחשב כיצירה נגזרת, ולכן לא מומלץ לאמן עליו מודלים סגורים, אלא להשתמש בו להערכה.
כמה רשומות יש בדאטהסט ומאיפה הן הגיעו?
המאגר כולל בין 1,000 ל־10,000 רשומות עם כ־6,000 שאלות ייעודיות שנוצרו בידי מעריכים אנושיים. הטקסטים עצמם נלקחו ממקורות מציאותיים שפורסמו אחרי 2022, כולל מאמרים אקדמיים מאתר ArXiv, באורך של 24 אלף עד מעל 100 אלף מילים למסמך.
מה ההבדל בין LooGLE למאגרי שאלות ותשובות רגילים?
בניגוד למבחנים רגילים שמחפשים עובדה ממוקדת בפסקה אחת, כאן המשימות דורשות תלות ארוכה. כדי לענות נכון המודל חייב לאתר מספר ראיות שונות שמפוזרות על פני עשרות אלפי מילים, להבין את הקשר ביניהן ולבצע הסקה או חישוב.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה bigai-nlco/LooGLE, ומציינים את הפיצול המבוקש כמו longdep_qa או summarization תחת split של test. אין צורך באישור גישה והמאגר פתוח להורדה. כל רשומה כוללת שדות מובנים של context, question, answer, evidence ו־metadata. במשימות התלות הארוכה נוסף שדה type שמגדיר את תת-סוג המשימה, ובמשימות cloze התשובה מגיעה כמערך של מסכות סדורות.
from datasets import load_dataset
ds = load_dataset("bigai-nlco/LooGLE")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון דורש מתן קרדיט ליוצרים, ומחייב שכל נגזרת של המאגר או יצירה שמבוססת עליו תופץ תחת אותם תנאים בדיוק. שימוש בנתונים לצורך אימון מודל מסחרי עלול לחשוף אתכם לדרישת השיתוף הזהה, לכן עדיף להגביל את השימוש בו להערכה ובדיקת ביצועים פנימית בלבד.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון