MovieSum
קוד פתוחrohitsaxenaרישיון לא דווח2024-08-11
תסריטי סרטים מלאים לצד תקצירי ויקיפדיה תואמים לטובת משימות סיכום ארוכות במיוחד. החומר מפורמט לפי מבנה סצנות כדי לעזור למודל להבין הקשר עלילתי מורכב.
- 785הורדות בחודש
- 26לייקים
מה זה
המאגר כולל 2,200 תסריטים מלאים באנגלית שהוצמדו להם תקצירים חופשיים מוויקיפדיה. כל תסריט נערך ועבר פירמוט ידני למבנה XML ברור, שמחלק את הטקסט לסצנות ומפריד בין דיאלוגים, שמות דמויות, הוראות במה ותיאורי סצנה. האורך הממוצע של תסריט עומד על 34,275 מילים, בעוד התקציר המקביל אורך כ־793 מילים בממוצע. בנוסף לטקסט עצמו, כל רשומה כוללת מזהה IMDB כדי שתוכלו לחבר אליה מידע חיצוני נוסף כמו שנת יציאה, ז'אנר או שחקנים.
החלוקה הפנימית מוגדרת מראש ומופרדת לקבצים. יש כאן 1,800 תסריטים בקובץ האימון, 200 קבצים בסט הוולידציה ועוד 200 בסט המבחן. החומר הזה מכוון ישירות לחוקרים שמנסים לבדוק מודלים על טקסט עלילתי כבד במיוחד, שבו הקשרים בין דמויות ואירועים נפרסים על פני עשרות אלפי מילים ולא נדחסים בפסקה בודדת.
מתאים ל
- אימון סיכום מסמכים ארוכים
פיתוח ובדיקת מודלים עם חלון הקשר גדול על טקסטים של עשרות אלפי מילים.
- ניתוח דיאלוגים וסצנות
חילוץ אינטראקציות בין דמויות באמצעות תגיות ה־XML שמפרידות בין דיבור לפעולה.
- בנצ'מרק למודלי שפה בעלילה
הערכת היכולת של מודלים לחלץ קווי עלילה מרכזיים מתוך תסריט קולנועי מורכב.
איפה זה נופל
זהו מאגר שמבוסס כולו על תסריטי קולנוע באנגלית ותקצירי ויקיפדיה, כך שאין כאן שום ייצוג לעברית או לשפות אחרות. התקצירים נכתבו בידי עורכי ויקיפדיה עצמאיים, מה שאומר שסגנון הסיכום, רמת הפירוט והדגשים העלילתיים משתנים מאדם לאדם ולא נכתבו תחת מתודולוגיה אחידה. התסריטים עצמם מגיעים באורך קיצוני, מה שיכשיל כל מודל עם חלון הקשר קצר ללא אסטרטגיית חיתוך. לא מפורט בכרטיס איך התסריטים נאספו או נבחרו, מה שמשאיר שאלות פתוחות לגבי הטיות בז'אנרים ובתקופות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
לא. הרישיון הוא CC BY-NC 4.0, מה שאוסר שימוש מסחרי מכל סוג. אימון מודל לצורך שירות מסחרי מפר את תנאי השימוש שהגדירו החוקרים.
האם יש במאגר תסריטים בעברית?
לא. כל התוכן מבוסס על תסריטים באנגלית ותקצירי ויקיפדיה תואמים באנגלית בלבד.
איך בנויים התסריטים בתוך הקבצים?
הטקסט של כל תסריט מפורמט במבנה XML מסודר. הוא מחולק לתגיות שמגדירות סצנות, הוראות במה, תיאורי רקע, שמות דמויות והדיאלוגים עצמם.
כמה דוגמאות יש בכל חלק של הדאטהסט?
המאגר כולל 2,200 תסריטים בסך הכל. 1,800 מהם שמורים לאימון, 200 לוולידציה ו־200 למבחן.
איך טוענים
הנתונים מחולקים לשלושה קבצי jsonl פשוטים: train, val ו־test, יחד עם קובץ README. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותם ישירות מהמאגר של rohitsaxena בהאגינג פייס. בכל שורה בקובץ תמצאו את התסריט כטקסט XML, את התקציר מוויקיפדיה ואת מזהה ה־IMDB. שימו לב שתצטרכו לפרסר את ה־XML אם אתם מתכננים להזין למודל רק דיאלוגים או רק תיאורי במה, וכדאי לקחת בחשבון את אורך התסריטים שמחייב חלון הקשר ענק או פתרונות עיבוד מקדימים.
from datasets import load_dataset
ds = load_dataset("rohitsaxena/MovieSum")הרישיון
הרישיון שמופיע בטקסט ובקובץ המאגר הוא Creative Commons Attribution Non Commercial 4.0, אף על פי שבמטא-דאטה החיצוני של העמוד נכתב שלא דווח רישיון. המשמעות ברורה וחד-משמעית. השימוש מותר אך ורק למטרות מחקר ולמידה, ואסור לכל שימוש מסחרי. אסור לבנות על בסיסו מוצרים למכירה או לאמן מודלים שיוטמעו בשירותים בתשלום, וחובה לתת ייחוס ליוצרים.