rpguild

מה זה

הנתונים נאספו מסריקה של אתר roleplayerguild, ועברו עיבוד למבנה של פרומפטים שמכילים היסטוריית שיחה יחד עם ביוגרפיה של הדמות. המבנה מיועד ללמד מודל איך להתנהג לפי דמות מוגדרת בתוך דיאלוג מתמשך. השיוך בין שמות משתמשים לדמויות לא תמיד חד-משמעי, ולכן יש שדה שמודד את רמת הביטחון בשיוך הזה, לצד סימון של פוסטים שפורסמו ללא שם דמות.

היוצר חילק את המאגר לכמה גרסאות סינון. גרסת ברירת המחדל מכילה המון רעש וזבל, ולכן קיימות גרסאות מסוננות יותר: אחת שמשאירה רק שיוכים ברמת ביטחון גבוהה, גרסה נוספת שמנקה תגובות ספאם נפוצות, וגרסה שעברה בדיקת דקדוק ומסירה פוסטים עם שגיאות רבות. מי שמפרסם את המאגר ממליץ לעבוד עם הגרסה שעברה בדיקת דקדוק.

מתאים ל

• אימון צ'אטבוט למשחקי תפקידים

  לימוד מודלים איך לדבר מתוך נקודת מבט של דמות בדיונית וספציפית לפי תיאור כתוב מראש.

• הערכת עקביות של דמות בשיחה

  בדיקה האם מודל שומר על קווי אופי לאורך חלון הקשר ארוך מול הנחיות ביוגרפיה נתונות.

• מחקר כתיבה יצירתית דיאלוגית

  ניתוח האופן שבו בני אדם מנהלים משחק תפקידים טקסטואלי רב-משתתפים ברשת.

איפה זה נופל

כל הטקסט במאגר כתוב באנגלית בלבד ואין בו שום תמיכה בעברית. הנתונים נסרקו מפורום פתוח על ידי אדם אנונימי, כך שאיכות הכתיבה הבסיסית נמוכה מאוד, והיוצר עצמו מתאר את גרסת הבסיס כים של זבל עם מעט פנינים. בנוסף, השיוך בין משתמשים לביוגרפיות הדמויות אינו מושלם ומבוסס על היוריסטיקה, מה שעלול לייצר רשומות שבהן המודל ילמד הקשרים שגויים לגמרי בין התוכן לזהות הדמות.

איך טוענים

הקבצים שמורים בפורמט parquet ומחולקים לפי תצורות הסינון השונות של המאגר. הגישה פתוחה ואין צורך לבקש הרשאה מיוחדת כדי להוריד את הקבצים. כל רשומה נבנתה כך שתתאים לחלון הקשר של 4096 תומכי Llama, כולל מרווח ביטחון של 128 תומכים ועוד 8 לכל הודעה. השדות שחשוב לבדוק בזמן הטעינה הם אלה שקובעים את איכות השיוך של הדמות, כמו מידת הביטחון והסימון האם מופיעות הודעות ללא שם דמות.

from datasets import load_dataset

ds = load_dataset("chargoddard/rpguild")

הרישיון

הרישיון של המאגר הוא cc-by-nc-4.0. המשמעות היא שאסור להשתמש בנתונים האלה לשום מטרה מסחרית, וחובה לתת קרדיט ליוצר. אם אתם מתכננים לאמן מודל שיימכר ללקוחות או יפעל בתוך מוצר רווחי, המאגר הזה פשוט פסול לשימוש.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗