super_glue
קוד פתוחapsother2022-03-02
הבנצ'מרק מרכז משימות שפה קשות באנגלית כמו שאלות כן ולא והסקת מסקנות. הוא מיועד למדידת יכולות הבנה והיגיון במודלים.
- 627,566הורדות בחודש
- 190לייקים
מה זה
המאגר מחולק לתתי משימות שונות שמאתגרות מודלי שפה, ובהן boolq, cb, copa לצד מערכי בדיקה כמו axb ו axg. המבנה משתנה בין המשימות. ב boolq תמצאו שאלות ופסקאות עם תוויות אמת ושקר, ב cb ו axg יש הנחות והשערות לסיווג לוגי, וב copa נדרשת בחירה בין שתי אפשרויות שונות בהתאם להקשר.
המשימות המרכזיות נבנו ונאספו ממקורות קיימים שונים במטרה להציב רף גבוה יותר מזה שהציב בנצ'מרק GLUE המקורי. הכרטיס אינו מפרט את אופן האיסוף או הסינון של כל תת מאגר, אלא מפנה למאמר המקורי.
מתאים ל
- הערכת מודלי שפה
מדידת ביצועים של מודלים במשימות היגיון מורכבות והשוואה מול הלוח הציבורי.
- אימון לסיווג טקסט
כוונון עדין על תתי משימות שמכילות אלפי דוגמאות כמו סיווג שאלות ב boolq.
- בדיקת הסקת מסקנות
בחינת יכולות הסקה והבנת סיבתיות באמצעות המבחנים של copa ו axg.
איפה זה נופל
הנתונים כוללים טקסטים באנגלית בלבד ואין בהם תוכן בעברית. הכרטיס אינו מספק מידע על הטיות, אופן סינון מידע רגיש, או תהליך התיוג של המקורות, מה שמחייב בדיקה ידנית לפני שימוש רגיש. בנוסף, משימות מסוימות קטנות מאוד בהיקפן, כמו cb שמכיל 250 דוגמאות אימון בלבד, ואינן מתאימות לאימון מודל מאפס.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מוגדר כ other והיוצרים מציינים שהנתונים מיועדים למחקר בהתאם לרישיונות המקוריים של כל חלק. הכרטיס אינו מעניק אישור גורף לשימוש מסחרי. מי שבונה מודל למוצר חייב לאתר את הרישיון הפרטני של כל תת משימה שבה הוא משתמש.
כמה מקום הדאטהסט דורש בדיסק?
קבצי ההורדה שוקלים 58.36 מגה בייט בסך הכל. לאחר פריסת הנתונים המאגר תופס 249.57 מגה בייט. בסך הכל נדרשים 307.94 מגה בייט של שטח אחסון.
האם יש במאגר נתונים בעברית?
לא, כל הנתונים במאגר כתובים באנגלית בלבד. המשימות אינן מכילות תרגום או התאמה לשפות אחרות. לפיתוח בעברית תצטרכו לחפש מאגרי הערכה מקומיים.
מאיפה הנתונים הגיעו ואיך הם נאספו?
המאגר מורכב מאוסף של מערכי נתונים קיימים שאוחדו תחת מסגרת אחת כדי להקשות על המודלים ביחס ל GLUE. כרטיס הדאטהסט אינו מפרט את הליך האיסוף, הסינון או שמות המתייגים של כל משימה. כדי ללמוד על מקור הטקסטים יש לגשת למאמר המקורי של SuperGLUE.
איך טוענים
הקבצים זמינים בפורמט Parquet בחלוקה לתיקיות לפי המשימות השונות, ללא צורך בהרשאת גישה מיוחדת. גודל ההורדה הכולל הוא 58.36 מגה בייט, והנתונים תופסים 307.94 מגה בייט על הדיסק לאחר הפריסה. שדות המפתח משתנים בהתאם למשימה שתטענו, החל משאלות ופסקאות ועד להנחות, השערות ותוויות סיווג.
from datasets import load_dataset
ds = load_dataset("aps/super_glue")הרישיון
הרישיון מוגדר כ other והמפרסמים מציינים שכל משימה מבוססת על מאגר מקורי בעל רישיון משלו. לפי התיעוד הרישיונות המקוריים מתירים שימוש והפצה בהקשר מחקרי. אין היתר ברור לשימוש מסחרי, ומי שמתכנן מוצר מסחרי צריך לבדוק את הרישיון המקורי של כל תת מאגר בנפרד.