story_cloze
קוד פתוחLSDSemunknown2022-03-02
המאגר מכיל סיפורים קצרים בני ארבעה משפטים ודורש לבחור את הסיום ההגיוני מבין שניים. הוא מיועד לבדיקת יכולת הסקת מסקנות והבנת הקשר נרטיבי במודלים שפועלים באנגלית.
- 2,090הורדות בחודש
- 15לייקים
מה זה
כל רשומה במאגר מציגה נרטיב קצר שמורכב מארבעה משפטי בסיס עוקבים, שני סיומים אפשריים ומזהה שמצביע על הסיום הנכון. המבנה כולל שדות נפרדים לכל משפט, שני שדות לבחירות הסיום, שדה תשובה מספרי ושדה זיהוי ייחודי לסיפור. הרעיון הוא לבחון אם מודל מבין סיבתיות והגיון אנושי פשוט, בלי להסתמך רק על דפוסים סטטיסטיים שטחיים.
הכרטיס מחלק את הנתונים לפי שנים. גרסת 2016 מכילה 1,871 דוגמאות לאימות ועוד 1,871 דוגמאות למבחן, ואילו גרסת 2018 כוללת 1,571 דוגמאות אימות בלבד. מקור הטקסטים והאופן שבו אספו או נירמלו אותם אינם מפורטים בכרטיס, והיוצרים מציינים רק שמדובר במשימה משותפת משנת 2017 שמתבססת על מאמצי מחקר של אוניברסיטת רוצ'סטר.
מתאים ל
- הערכת מודלי שפה
בדיקת יכולת המודל לבחור סיום עקבי והגיוני לסיפורים קצרים באנגלית.
- אימון הבנת נרטיב
כוונון עדין של מודלים קטנים לזיהוי סיבתיות והקשרים לוגיים בטקסט.
- השוואת ביצועים
הרצת מבחן מובנה ואחיד מול גרסאות 2016 ו־2018 של המשימה.
איפה זה נופל
הכרטיס משאיר כמעט את כל שדות המגבלות וההטיות ריקים, ולכן אין שום מידע מתועד על הטיות גזעיות, מגדריות או תרבותיות בטקסטים. המאגר מוגבל לאנגלית בלבד, כך שהוא לא יעזור ישירות למי שבונה פתרונות בעברית. הנתונים מתבססים על מחקר שפורסם ב־2017 ועלו למאגר ב־2022, מה שאומר שהשפה משקפת תקופה מוקדמת יותר ואינה כוללת הקשרים מודרניים. לפני שימוש במוצר, צריך לבדוק ידנית את איכות הטקסטים והתאמתם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי מוגדר כלא ידוע, ולכן אין היתר מסחרי מפורש בכרטיס. חברות מסחריות צריכות לפנות לאנשי הקשר באוניברסיטת רוצ'סטר לפני שילוב המידע במערכות שלהן. שימוש ללא בירור מראש חושף אתכם לסיכון משפטי.
האם יש במאגר תמיכה בעברית?
המאגר כולו באנגלית בלבד. אין בו משפטים או תרגומים לעברית. אם המטרה היא בדיקת מודלים בעברית, תצטרכו לתרגם את הנתונים בעצמכם או לחפש מקור אחר.
כמה מקום המאגר תופס בדיסק?
הקבצים שמוורדים שוקלים 2.13 מגה בייט. לאחר הפריסה והעיבוד, נפח הדיסק הכולל עומד על 2.15 מגה בייט בלבד. זהו מאגר קטן מאוד שנטען מהר ומתאים לבדיקות מהירות.
איך טוענים
הטעינה נעשית דרך ספריית datasets באמצעות הסקריפט story_cloze.py שנמצא במאגר. הקבצים שוקלים כ־2.13 מגה בייט והדיסק כולו דורש כ־2.15 מגה בייט, כך שההורדה מסתיימת תוך שניות בודדות. השדות העיקריים שצריך למפות בריצה הם ארבעת משפטי הקלט, שני משפטי הבחירה, ושדה התשובה שמחזיר 1 או 2. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים, אך חשוב לבדוק את הגרסה הרצויה בריצה.
from datasets import load_dataset
ds = load_dataset("LSDSem/story_cloze")הרישיון
הרישיון מוגדר בתור unknown. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, לא ידוע אם חלה חובת ייחוס או דרישה לשיתוף תחת אותו רישיון, ומסוכן לשלב את המאגר באימון של מודל מסחרי לפני פנייה ישירה ליוצרים לקבלת אישור מפורש.