zero_scrolls
קוד פתוחtauרישיון לא דווח2023-05-21
בנצ'מרק שמקבץ עשר משימות שונות להבנת טקסטים ארוכים במיוחד במצב אפס דוגמאות. הוא מיועד לבחון מודלי שפה על הקשר רחב בלי לאמן או לכוונן אותם קודם.
- 988הורדות בחודש
- 18לייקים
מה זה
המאגר מאגד עשר משימות מגוונות של עיבוד שפה טבעית על גבי מסמכים ארוכים, ומחולק לפי תתי משימות. יש כאן סיכום דוחות ממשלתיים אמריקאיים מרובי מלל, תסריטים של שמונים ושמונה סדרות טלוויזיה, פרוטוקולים של פגישות מאקדמיה ופרלמנטים, וסיפורים קלאסיים מתוך פרויקט גוטנברג. לצד אלה תמצאו מענה על שאלות מרובות שלבים על בסיס עשרים פסקאות מוויקיפדיה, שאלות על מאמרים מדעיים בעיבוד שפה טבעית, ושאלות רב ברירה קשות שנבדקו מול קוראים אנושיים שקראו ברפרוף.
בנוסף שולבו שתי משימות ייעודיות חדשות, אחת דורשת לזהות אחוז של ביקורות חיוביות מתוך מקבץ של חמישים חוות דעת על מלונות, והשנייה דורשת לסדר מחדש תקצירי פרקים מבולבלים של ספרים ושירים. הנתונים נלקחו ממאגרים קיימים כמו סמנטיק סקולר וגוטנברג, ועברו עיבוד שנועד לחייב קריאה של חלקים נרחבים מהמסמך כדי לענות נכון. הפורמט אחיד כמעט בכל המשימות, אך הוא כולל בעיקר סטי בדיקה כאשר סטי האימות מכילים כעשרים דוגמאות בלבד למשימה ומיועדים רק להתרשמות ראשונית.
מתאים ל
- בדיקת חלון הקשר במודלים
הרצת מודלי שפה על טקסטים ארוכים במיוחד לבדיקת היכולת לשלוף מידע מקצה לקצה.
- הערכת סיכום מסמכים מורכבים
בחינת יכולות תמצות על דוחות ממשלתיים ותסריטים מלאים בלי שום אימון מוקדם על הדומיין.
- מענה על שאלות מרובות שלבים
בדיקת ההסקה של המודל כשהוא נדרש לחבר מידע שמפוזר בין עשרים פסקאות נפרדות.
איפה זה נופל
כל הטקסטים במאגר הם באנגלית בלבד, ואין כאן שום ייצוג לעברית או לשפות אחרות. לא תוכלו להשתמש בו לאימון מודלים, כיוון שתשובות הייחוס כלל אינן מצורפות ושדה הפלט ריק לחלוטין. סטי האימות זעירים וכוללים כעשרים דוגמאות בלבד למשימה, כך שאי אפשר להסתמך עליהם לכיול סטטיסטי אמיתי. בנוסף, הנתונים מבוססים על מקורות ישנים יחסית כמו ספרות היסטורית, תסריטים מוקלטים ומאמרים עד שנת פרסום הבנצ'מרק, מה שדורש בדיקה האם הדומיינים האלה מייצגים את סוג המסמכים שאתם פוגשים בפועל.
שאלות
נפוצות
האם אפשר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ כרגע. בעמוד המאגר לא צוין רישיון רשמי, והטקסטים מגיעים ממגוון מקורות חיצוניים עם תנאים שונים. בלי הגדרה ברורה של זכויות היוצרים, שימוש מסחרי חושף אתכם לסיכון משפטי.
האם יש במאגר טקסטים בעברית?
לא. כל הנתונים מבוססים על אנגלית בלבד, בין אם מדובר בתסריטים, דוחות של הממשל האמריקאי או ספרים מפרויקט גוטנברג.
למה שדה הפלט ריק בכל הדוגמאות?
המאגר מיועד לשמש כבנצ'מרק לבדיקת אפס דוגמאות שבו המודל נבחן על סט מבחן עיוור. התשובות הנכונות אינן גלויות, והמטרה היא לייצר פלטים ולהגיש אותם ללוח התוצאות של הפרויקט.
האם אפשר לאמן מודלים על הדאטהסט הזה?
לא, הוא לא מתאים לאימון בשום צורה. הוא מכיל רק סטי בדיקה ללא תוויות אמת, וסטי האימות כוללים רק כעשרים דוגמאות שנועדו לבדיקה ידנית שטחית בלבד.
איך טוענים
המאגר כולל תשעה עשר קבצים, בהם קובצי ארכיון מכווצים לכל משימה כמו קובצי זיפ של דוחות ומיוני ספרים, וסקריפטים של מדדי הערכה דוגמת רוז' ודיוק. אין צורך באישור גישה כדי להוריד את הקבצים. הרשומות מגיעות עם שדה טקסט קלט יחיד לצד אינדקסים מדויקים שמסמנים היכן מתחיל ומסתיים המסמך, והיכן נמצאת השאילתה. בחלק מהמשימות יש גם אינדקסים פנימיים להפרדה בין מסמכים שונים שחוברו יחד. נקודה קריטית לעבודה: שדה הפלט בכל הרשומות מוגדר כריק, היות והוא מיועד להרצה על בנצ'מרק סגור שבו אתם שולחים את התוצאות ללוח התוצאות החיצוני.
from datasets import load_dataset
ds = load_dataset("tau/zero_scrolls")הרישיון
היוצרים לא דיווחו על רישיון שימוש בעמוד המאגר. המשמעות היא שאין הרשאה ברורה להשתמש בנתונים האלה לצרכים מסחריים, ומבחינה משפטית השימוש בהם מסוכן לחברות. מאחר שהנתונים נאספו ממאגרים שונים כמו ויקיפדיה, פרויקט גוטנברג ודוחות ממשל, כל חלק עשוי להיות כפוף לתנאי המקור שלו. בנוסף, חובה לתת קרדיט ולצטט את כל המאמרים המקוריים שמהם נבנו המשימות.