esnli
קוד פתוחesnliרישיון לא דווח2022-03-02
המאגר מרחיב את דאטהסט ההיסק הטקסטואלי של סטנפורד ומוסיף לו הסברים אנושיים בשפה טבעית. הוא מתאים למי שרוצה לאמן מודל שלא רק מסווג קשר בין משפטים, אלא גם מנמק את ההחלטה.
- 1,720הורדות בחודש
- 23לייקים
מה זה
הרשומות במאגר מבוססות על משימת הסקת שפה טבעית קלאסית. כל דוגמה כוללת הנחת יסוד (premise), השערה (hypothesis), ותיוג שמגדיר אם יש ביניהן גרירה, סתירה או מצב ניטרלי. הייחוד כאן הוא התוספת של שלושה שדות הסבר טקסטואליים שנכתבו בידי אדם, ומפרטים בדיוק מדוע נקבע התיוג הזה.
המבנה מחולק לשלושה חלקים מוכרים: אימון עם 549,367 דוגמאות, ולידציה עם 9,842 דוגמאות, ומבחן שמכיל 9,824 רשומות. כרטיס הדאטהסט לא מפרט כיצד נאספו ההסברים בפועל, מי היו המתייגים או אילו מנגנוני סינון הופעלו על הטקסטים מעבר לעצם ההרחבה של מאגר SNLI המקורי.
מתאים ל
- אימון מודלים מנמקים
לימוד מודלי שפה להפיק נימוק מילולי לצד סיווג היסק לוגי.
- הערכת מהימנות החלטות
בדיקה אם הסבר שהמודל מייצר תואם להסברים שסופקו בידי אדם.
- מחקר על עקיבות לוגית
ניתוח הקשר בין חיזוי התווית הנכונה לבין איכות ההסבר הנלווה.
איפה זה נופל
הכרטיס ריק כמעט לחלוטין ממידע ביקורתי. אין בו פרטים על הטיות, מגבלות ידועות, סינון מידע רגיש או אופן גיוס המתייגים, כך שחובה לבדוק ידנית את איכות ההסברים. הנתונים קיימים באנגלית בלבד ואינם כוללים עברית. בנוסף, המאמר המקורי הוצג ב־2018 והועלה ב־2022, ולכן חלק מדפוסי השפה או ההסברים עשויים להיות מיושנים ביחס למודלים מודרניים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון אינו מוגדר בעמוד הדאטהסט ולא נמסר מידע רשמי לגביו. כל עוד לא ביררתם את תנאי הרישיון המקוריים מול החוקרים, השימוש המסחרי כרוך בסיכון משפטי.
כמה שטח דיסק נדרש כדי להוריד אותו?
הקבצים להורדה שוקלים 204.51 מגהבייט, והדאטהסט שנוצר תופס 114.84 מגהבייט. בסך הכל תצטרכו 319.35 מגהבייט פנויים בדיסק.
האם יש במאגר נתונים בעברית?
לא, המאגר מוגדר לשפה האנגלית בלבד. אם המטרה היא להשתמש בו בעברית, תידרשו לתרגם אותו עצמאית.
מה ההבדל בינו לבין דאטהסט SNLI הרגיל?
בעוד ש־SNLI מספק רק הנחה, השערה ותיוג, כאן נוספו לכל דוגמה שלושה הסברים באנגלית שנכתבו על ידי בני אדם. ההסברים מנמקים ישירות את הקשר בין המשפטים.
איך טוענים
טעינת המאגר מתבצעת ישירות דרך הספרייה הרגילה, והוא כולל תצורה בודדת בשם plain_text. קבצי ההורדה שוקלים 204.51 מגהבייט, הגרסה המעובדת תופסת 114.84 מגהבייט, ובסך הכל הוא דורש 319.35 מגהבייט של שטח דיסק. אין צורך באישור גישה מיוחד, והשדות העיקריים לעבודה הם הזוגות של הטקסטים, התווית המספרית ושלושת ההסברים הנלווים.
from datasets import load_dataset
ds = load_dataset("esnli/esnli")הרישיון
הרישיון של המאגר לא דווח בכרטיס ומופיע תחת דרישת מידע נוסף. המשמעות היא שאין היתר שימוש ברור, ובמצב כזה אסור להניח שמותר להשתמש בו לצרכים מסחריים או לאמן עליו מודלים למוצר סגור בלי לבדוק תחילה את תנאי המקור בגיטהאב של הפרויקט או במאמר המקורי.