DramaBench
קוד פתוחFutureMamit2025-12-23
המאגר מרכז 1,103 תסריטים בפורמט פאונטיין שמחולקים לחצי ראשון והמשך. הוא מיועד למי שרוצה לבדוק אם מודל שפה מסוגל להמשיך עלילה בלי לשבור דמויות, דיאלוגים או חוקי תסריטאות.
- 233הורדות בחודש
- 110לייקים
מה זה
הרשומות במאגר מייצגות קטעי תסריט דרמטיים מקצועיים שנכתבו באנגלית. כל דוגמה כוללת מזהה ייחודי, כותרת, תקציר עלילה קצר, חלק ראשון שמשמש כהקשר למודל, וחלק שני שמהווה את יעד ההמשך האמיתי. בנוסף מצורף אובייקט נתונים שמתאר את נקודת החיתוך, מספר השורות בכל חלק ואחוז הפיצול מהתסריט המלא.
הפיצול בוצע בשתי שיטות עיקריות, כאשר 69.5% מהתסריטים נחתכו בגבול טבעי בין סצנות, ויתר 30.5% נחתכו באמצע סצנה כדי לאלץ את המודל להמשיך מהלך דרמטי חי. אורך ההקשר הממוצע עומד על כ־251 מילים, ואורך ההמשך הממוצע הוא כ־268 מילים. המאגר מציע שלוש תצורות של קובצי ג'ייסונל, גרסת 100 דוגמאות ראשונית, גרסת 500 דוגמאות מורחבת, וגרסת 1,103 הדוגמאות המלאה שמוגדרת כברירת מחדל.
מתאים ל
- הערכת ביצועי מודלים
בדיקת יכולת המודל להמשיך סצנה דרמטית על פי הקשר נתון והשוואה לטקסט המקורי.
- בדיקת שמירה על פורמט
מדידת הדיוק והתאימות של פלטי מודלים לכללי כתיבת תסריט בתקן פאונטיין.
- אימון לכתיבה יוצרת
כוונון עדין של מודלי שפה עבור מחוללי דיאלוגים ופיתוח סצנות בעלי אופי דרמטי.
איפה זה נופל
המאגר כתוב באנגלית בלבד ואין בו תמיכה בשום שפה אחרת, כולל עברית. הוא לא מתאים לבדיקת תסריטים ארוכים מלאים, מכיוון שכל דוגמה מכילה רק כמה מאות מילים בסך הכל. כרטיס המאגר מציין כי ציוני ההערכה של שמונת המודלים ופלטי המודלים עצמם אינם כלולים בקובצי הנתונים, אלא פורסמו רק במאמר ובאתר הנלווה. בנוסף, בולידציה אנושית מול שופטים מבוססי מודלים נרשמה הסכמה מהותית רק בשלושה מתוך חמישה ממדים שנבדקו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר זמין תחת רישיון MIT. המשמעות היא שאתם יכולים לאמן עליו מודלים מסחריים או להשתמש בו בתוך מערכת סגורה בלי לחלוק את הקוד שלכם, כל עוד שמרתם על תנאי הייחוס של הרישיון המקורי.
האם יש במאגר תסריטים בעברית?
לא. כל 1,103 הרשומות כתובות באנגלית בלבד. אם אתם בונים כלי לתסריטאות מקומית או בשפה העברית, הדאטהסט הזה לא יספק לכם נתוני שפה רלוונטיים בלי תרגום או התאמה מקיפה.
כמה קבצים יש במאגר ואיזה קובץ צריך לטעון?
המאגר מכיל שישה קבצים, כולל שלושה קובצי ג'ייסונל עם 100, 500 ו־1,103 רשומות. טעינה רגילה מושכת ישירות את הגרסה המלאה של 1,103 התסריטים. שתי הגרסאות הקטנות יותר נועדו בעיקר לשחזור ניסויי עבר.
האם המאגר כולל את הציונים של המודלים שנבחנו במאמר?
לא, קובצי הדאטהסט כוללים רק את התסריטים, נקודות החיתוך, הכותרות והתקצירים. הציונים של שמונת המודלים מופיעים בטבלאות במאמר ובדמו החי של הפרויקט, אך אינם מוטמעים בתוך הרשומות עצמן.
איך טוענים
טוענים את המאגר ישירות עם הפונקציה load_dataset של ספריית datasets בלי צורך באישור גישה או מפתחות. הקובץ המלא שוקל מעט מאוד ומכיל 1,103 רשומות, כך שהוא יורד ונכנס לזיכרון בשניות בודדות. השדות העיקריים לעבודה הם context שמועבר כקלט למודל, ו־continuation שמשמש כטקסט ייחוס להשוואה מול הפלט שנוצר.
from datasets import load_dataset
ds = load_dataset("FutureMa/DramaBench")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי, מיזוג והפצה מחדש, בכפוף לשמירת הודעת זכויות היוצרים המקורית. הרישיון אינו דורש שיתוף תחת אותו רישיון, ומותר לאמן עליו מודלים מסחריים או לשלב אותו במערכות פנימיות בלי לפתוח את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש