snli
קוד פתוחstanfordnlpcc-by-sa-4.02022-03-02
מאגר של 570 אלף זוגות משפטים באנגלית לסיווג יחסי היסק לוגי. הוא מיועד למי שרוצה לאמן או לבדוק מודל שמזהה גרירה, סתירה או ניטרליות בין טענות.
- 94,429הורדות בחודש
- 96לייקים
מה זה
כל רשומה מורכבת מהנחת יסוד, השערה ותגית מספרית שמגדירה האם ההשערה נובעת מההנחה, סותרת אותה או ניטרלית לגביה. משפטי הבסיס נלקחו מתיאורי תמונות ממאגרי פליקר 30k וויז'ואל ג'נום, ועובדי אמזון מכניקל טורק התבקשו לחבר עבור כל תיאור שלוש השערות מתאימות בלי לראות את התמונה המקורית. הטקסטים קצרים יחסית, כשההנחות באורך ממוצע של 14.1 טוקנים וההשערות באורך 8.3 טוקנים, ולרוב מנוסחים בזמן הווה.
המאגר מחולק לשלושה חלקים, עם 550,152 רשומות באימון, 10,000 בוולידציה ו־10,000 בבדיקה. כל משפט בסיס מופיע רק באחד מהחלקים כדי למנוע דליפת מידע. חלק מהרשומות נבדקו על ידי חמישה מתייגים שונים, ומקרים שלא הגיעו להסכמה של לפחות שלושה מהם סומנו בתגית מינוס אחת.
מתאים ל
- אימון מודל היסק לוגי
אימון מסווגים להבנת היחס בין שני משפטים באנגלית לקביעת גרירה או סתירה.
- מבחן ביצועים למודלי שפה
בדיקת יכולת ההבנה הסמנטית של מודלי ייצוג על ערכות המבחן הקבועות.
- סינון סתירות במערכות אחזור
זיהוי מידע שסותר מסמך מקור במערכות תשובה לשאלות.
איפה זה נופל
הטקסטים מוגבלים לאנגלית בלבד, ומשקפים שפה של תיאורי תמונות פשוטים שנאספו בין השנים 2014 ל־2015. מחקרים גילו שהמאגר מכיל חותמות מלאכותיות חזקות, עד כדי כך שמודלים הצליחו לנחש את התגית הנכונה בשיעור של עד 69% רק מתוך קריאת ההשערה, בלי להסתכל על משפט הבסיס בכלל. בנוסף נמצאו בו הטיות מגדריות ושפה פוגענית שחזרו על סטריאוטיפים, כך שלא הייתי מסתמך עליו לבדו לבדיקת מודלים שמיועדים לטקסט מורכב או לשיחה חופשית.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא, המאגר כולו באנגלית בלבד. הוא מבוסס על תיאורי תמונות מאתר פליקר ומשפטים שנכתבו על ידי עובדים דוברי אנגלית, ולכן אינו מתאים לאימון ישיר על שפות אחרות בלי תרגום.
מותר להשתמש בו למוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אבל כולל סעיף שיתוף זהה. המשמעות היא שכל נגזרת או הפצה מחייבת שמירה על אותו הרישיון הפתוח, מה שיכול להוות בעיה אם אתם בונים מודל קנייני סגור.
איך נאספו המשפטים והתיוגים?
ההנחות נלקחו מכיתובי תמונות במאגרים קיימים כמו פליקר 30k. לאחר מכן, עובדי אמזון מכניקל טורק ניסחו השערות מתאימות, וחלק מהזוגות עברו תיקוף נוסף בידי קבוצה של כ־30 מתייגים שנבחרו לבדיקת איכות.
מה המשמעות של תגית מינוס אחת בדאטה?
מדובר במקרים שבהם חמישה מתייגים שונים בחנו את הזוג ולא הצליחו להגיע להסכמה של לפחות שלושה קולות לגבי התוצאה. המפרסמים ממליצים לסנן את השורות האלה החוצה לפני תחילת האימון.
איך טוענים
המאגר פתוח להורדה ישירה בלי צורך בהרשמה או באישור גישה, ומאוחסן בקובצי פרקט לפי החלוקה לאימון, בדיקה ואימות. המבנה כולל רק שלושה שדות עיקריים: הטקסט של ההנחה, הטקסט של ההשערה והתווית המספרית. הדבר הקריטי לפני שמתחילים לרוץ הוא להריץ סינון על המידע ולהעיף רשומות עם התווית מינוס אחת, שאין לגביהן הסכמה בין המתייגים.
from datasets import load_dataset
ds = load_dataset("stanfordnlp/snli")הרישיון
המאגר משוחרר ברישיון cc-by-sa-4.0. הרישיון דורש מתן קרדיט ליוצרים, ומחייב שכל יצירה נגזרת תופץ תחת אותו רישיון בדיוק. אם אתם מתכננים לאמן עליו מודל למטרות מסחריות סגורות, תנאי השיתוף הזהה עלול להגביל אתכם בהפצת המשקולות או התוצרים, ומחייב בדיקה משפטית לפני השימוש.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון