cornell_movie_dialog
קוד פתוחcornell-movie-dialogרישיון לא דווח2022-03-02
שיחות מתוסרטי סרטים באנגלית שמגיעות עם מטא-דאטה על הדמויות ועל הסרטים עצמם. המאגר מתאים למי שרוצה לחקור סגנון דיבור ואינטראקציה בין דמויות בלי לאסוף תסריטים ידנית.
- 373הורדות בחודש
- 29לייקים
מה זה
המאגר כולל 220,579 חילופי דברים בין 10,292 זוגות של דמויות, ומכסה בסך הכל 304,713 היגדים שנלקחו מתוך 617 סרטים שונים. הטקסטים חולצו מתסריטים גולמיים, וכל רשומה מקשרת בין מזהי הדמויות והשמות שלהן לבין שורות השיחה בפועל.
לצד הדיאלוגים מופיע מידע נלווה על הסרטים כמו ז'אנרים, שנת יציאה, דירוג ומספר הצבעות ב־IMDB. עבור חלק מהדמויות קיים גם מידע דמוגרפי, שכולל מגדר עבור 3,774 דמויות ואת המיקום שלהן ברשימת הקרדיטים עבור 3,321 דמויות. כל הנתונים מרוכזים בפיצול יחיד של אימון המונה 83,097 דוגמאות.
מתאים ל
- אימון צ'אטבוטים
מודלים של דיאלוג יכולים ללמוד יחסי גומלין וסגנונות שיחה קצרים בין שתי דמויות באנגלית.
- ניתוח סגנון לשוני
בדיקת התאמה סגנונית ושינויי שפה בשיחות לפי ז'אנר, שנת הפקה או מגדר הדמות.
- סיווג טקסט לפי ז'אנר
חיזוי סוג הסרט או דירוג הצופים מתוך הדיאלוגים והמאפיינים של הדמויות המדברות.
איפה זה נופל
הדיאלוגים מייצגים שפה מתוסרטת ומתוכננת מראש ולא דיבור טבעי או יומיומי. כל הטקסטים הם באנגלית בלבד ואין פה מילה אחת בעברית. הכרטיס לא מציין מתי התסריטים נאספו, איך הם עברו ניקוי או סינון, ומשאיר את רוב פרטי התיעוד על הטיות ופגיעה בפרטיות ריקים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הכרטיס לא מציין רישיון שימוש בכלל. מאחר שמדובר בתסריטי סרטים מסחריים שחולצו ממקורות שונים, שימוש במוצר רווחי עלול לחשוף אתכם לתביעות זכויות יוצרים. כל עוד אין הבהרה מהיוצרים, עדיף להגביל את השימוש למחקר בלבד.
כמה מקום המאגר תופס בדיסק?
קובצי ההורדה שוקלים 9.92 מגה-בייט בלבד. לאחר הפריקה והעיבוד של הדאטהסט הוא שוקל כ־19.55 מגה-בייט. הנפח הכולל שנדרש בדיסק הוא 29.46 מגה-בייט.
האם יש במאגר שיחות בעברית?
המאגר מבוסס כולו על תסריטי קולנוע באנגלית בלבד. אין בו ייצוג לשפות אחרות ולא קיימים בו תרגומים מובנים. אם אתם מחפשים לאמן מודל לשיחה בעברית, המאגר הזה לא יתאים לכם.
איך הנתונים נאספו ונערכו?
החוקרים חילצו את השיחות מתוך קובצי תסריטים גולמיים של 617 סרטים. הם הצליבו את שמות הדמויות והסרטים עם פרטים מאתר IMDB. מעבר לכך, הכרטיס לא מפרט על תהליך הניקוי או הנורמליזציה.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של Hugging Face דרך סקריפט הפייתון המצורף. גודל הקבצים להורדה עומד על 9.92 מגה-בייט, והנפח שנוצר בדיסק מגיע לכ־19.55 מגה-בייט עם שימוש כולל של 29.46 מגה-בייט. אין צורך בבקשת גישה מיוחדת, והשדות העיקריים לעבודה הם מילון ה־utterance שמכיל את הטקסט והמזהה, ומזהי הדמויות characterID1 ו־characterID2.
from datasets import load_dataset
ds = load_dataset("cornell-movie-dialog/cornell_movie_dialog")הרישיון
הרישיון של המאגר לא דווח כלל בכרטיס. המשמעות היא שאין הרשאה ברורה להשתמש בו לצרכים מסחריים, ואי אפשר לדעת אילו זכויות יוצרים חלות על תסריטי הסרטים המקוריים או על מודל שיאומן עליהם.