RoleBench

מה זה

הרשומות במאגר מבוססות על תסריטים של עשרות דמויות מוכרות, למשל אברהם לינקולן, ג'ק ספארו ודוקטור הו, לצד דמויות היסטוריות וספרותיות בסינית כמו באי לי וסון ווקונג. הנתונים הופקו באמצעות תהליך שנקרא Context-Instruct, שמחלץ ידע מתסריטים ארוכים ומזריק אותו להוראות ספציפיות לכל דמות.

המבנה מחולק לפי שפות וסוגי מידע. יש תיקיות של הוראות באנגלית ובסינית, שמכילות קובצי jsonl עם פקודות כלליות מול פקודות ייעודיות לדמויות ספציפיות, וקובצי עזר שמפרטים את מספר השאלות וחלוקת המקטעים. לצד אלה קיימות תיקיות פרופילים עם תיאורי דמויות, דיאלוגים מתוך התסריטים ורשימות מקורות.

חלק ההערכה והאימון, RoleBench, מפוצל לשתי השפות ומכיל מחיצות ייעודיות לבדיקת הכללה של הוראות והכללה של דמויות חדשות. כל מחיצה כזו כוללת סטים של אימון, סטים של בדיקה ותוצאות בסיס של מודל בשם RoleGPT להשוואה ישירה.

מתאים ל

• הערכת חיקוי דמויות

  בדיקת יכולת המודל לשמור על אישיות, ידע וסגנון דיבור של 95 דמויות מוגדרות.

• אימון מודל לתפקיד

  כיוונון מודלים פתוחים על דיאלוגים והוראות ממוקדות דמות באנגלית ובסינית.

• מדידת הכללת תפקידים

  בחינת הביצועים של המערכת מול דמויות חדשות שלא נכללו בסט האימון המקורי.

איפה זה נופל

המאגר מכיל נתונים בשתי שפות בלבד, אנגלית וסינית, ואין בו שום תמיכה בעברית. רוב החומר נשען על תסריטים הוליוודיים, יצירות ספרותיות מוכרות ומקורות תרבותיים סיניים, כך שהתנהגות הדמויות כפופה לדרך שבה הן הוצגו במדיה המקורית.

בנוסף, חלק ניכר מהדמויות הן דמויות מוגנות בזכויות יוצרים של אולפנים מסחריים כמו מארוול או דיסני, מה שעלול לייצר סיבוך משפטי אם בונים מוצר פתוח. הנתונים פורסמו באוקטובר 2023 ומבוססים על חילוץ תסריטים מסוים, כך שאין כאן מידע דינמי או רחב מעבר לקטעים שנבחרו.

איך טוענים

המאגר פתוח לחלוטין ואינו דורש אישור גישה מוקדם. אפשר למשוך אותו ישירות דרך ספריית datasets באמצעות הנתיב ZenMoore/RoleBench, או לשכפל את המאגר כולו באמצעות git וספריית git-lfs.

בפנים מחכים 230 קבצים, רובם בפורמט jsonl וטקסט. השדות המרכזיים שתרצו לבדוק כוללים את תיאורי הפרופיל בתיקיות ה־profiles, את קובצי הדיאלוג הספציפיים לכל דמות, ואת נתוני הבדיקה בתיקיות ההכללה כדי להשוות מול תוצאות הבסיס שסופקו.

from datasets import load_dataset

ds = load_dataset("ZenMoore/RoleBench")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ומאפשר לאמן מודלים בלי לחייב אתכם לפתוח את הקוד שלכם באותו רישיון. נדרש לשמור על הודעות זכויות היוצרים והייחוס ליוצרים המקוריים, אך יש לקחת בחשבון שהטקסטים עצמם מתבססים על תסריטים של דמויות מוגנות בזכויות יוצרים חיצוניות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗