real-persona-chat
קוד פתוחnu-dialoguecc-by-sa-4.02024-03-07
שיחות חולין ביפנית שמחוברות לפרופיל אישיות אמיתי ומדיד של הדוברים. החוקרים קישרו כאן תמלול שיחה מלא לשאלונים פסיכולוגיים כמו חמש התכונות הגדולות והערכות הדדיות.
- 77הורדות בחודש
- 25לייקים
מה זה
המאגר כולל כ־14,000 שיחות חולין ביפנית, שמורכבות מ־408,619 היגדים שנאספו מ־233 דוברים שונים. במקום פרסונות מומצאות, המשתתפים שוחחו על בסיס הרקע האישי שלהם, כשלכל דובר מוצמדים עשרה משפטי היכרות, דירוגי אישיות מפסיכולוגיה ניסויית ונתונים דמוגרפיים כמו גיל, השכלה ותעסוקה.
הנתונים מחולקים לשתי תצורות שונות. הראשונה מתמקדת בשיחה עצמה ומכילה את רצף המשפטים, חותמות זמן וציוני משוב שהדוברים נתנו זה לזה על הבנה, שביעות רצון ועניין בסולם של 1 עד 5. השנייה מחזיקה את פרטי הדוברים, כולל ניסיון קודם בצ'אט ומדדים פסיכולוגיים כמו Big Five וכישורים חברתיים. כל המידע מרוכז בפיצול יחיד של אימון, בלי חלוקה מובנית לולידציה או בדיקה.
מתאים ל
- אימון סוכני שיחה מותאמים
כוונון מודלים ביפנית שמחקים סגנון דיבור ואישיות מוגדרת מראש לאורך שיחה שלמה.
- חיזוי תכונות אישיות מטקסט
אימון מודלי סיווג שמזהים מאפיינים פסיכולוגיים כמו Big Five מתוך ניתוח שיחות חופשיות.
- הערכת איכות דיאלוג
בניית מודלים שמנבאים ציוני שביעות רצון ועניין הדדי בין משתתפים על בסיס השיחה.
איפה זה נופל
כל הטקסט במאגר כתוב ביפנית בלבד, כך שהוא לא רלוונטי למי שמאמן מודלים בעברית או באנגלית. בנוסף, כל 400 אלף ההיגדים מגיעים מ־233 אנשים בלבד, כולם תושבי מחוזות ביפן, מה שמייצר חזרתיות סגנונית והטיה דמוגרפית כבדה. המפרסמים מדגישים שאסור לנסות לזהות את הדוברים או לחקות אותם. החיסרון הטכני המרכזי הוא היעדר חלוקה מוגדרת למבחן ואימון, מה שמחייב אתכם לחלק את הנתונים בעצמכם בזהירות לפי מזהי הדוברים כדי למנוע דליפת מידע.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר כולל שיחות ביפנית בלבד שנאספו מתושבים ביפן, ואין בו טקסט בעברית או תמיכה בריבוי שפות.
מותר להשתמש במאגר למוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אך כולל סעיף שיתוף זהה (ShareAlike). המשמעות היא שאם תשנו את הנתונים או תפיצו נגזרת שלהם, תצטרכו לשחרר את התוצר תחת אותו רישיון בדיוק, לצד מתן קרדיט ליוצרים המקוריים.
איך הדאטהסט נאסף?
החוקרים גייסו 233 משתתפים ביפן, העבירו אותם סדרת שאלוני אישיות ומבחנים פסיכולוגיים, ונתנו להם לנהל שיחות חולין שמבוססות על חייהם האמיתיים. בסיום כל שיחה המשתתפים דירגו את איכות האינטראקציה והשותף שלהם.
האם יש חלוקה מוכנה לאימון ובדיקה?
לא. כל 13,583 השיחות מופיעות תחת פיצול train יחיד. תצטרכו לפצל את הנתונים ידנית לפני תחילת העבודה, ומומלץ לבצע את החלוקה לפי מזהי הדוברים כדי למנוע זליגת מידע של אותו אדם בין האימון למבחן.
איך טוענים
טוענים את הקבצים ישירות עם ספריית datasets של Hugging Face, אבל חייבים להפעיל את הדגל trust_remote_code מפני שהטעינה נשענת על סקריפט פייתון ייעודי מתוך המאגר. המאגר פתוח להורדה בלי צורך באישור גישה מראש. צריך לבחור אם טוענים את תצורת dialogue שמכילה את הטקסט והציונים, או את interlocutor שמרכזת את מאפייני הדוברים לפי interlocutor_id.
from datasets import load_dataset
ds = load_dataset("nu-dialogue/real-persona-chat")הרישיון
המאגר מופץ תחת רישיון CC BY-SA 4.0. הרישיון מתיר שימוש מסחרי ומחקר, אבל דורש מתן קרדיט מלא למחברים ומחייב אתכם להפיץ כל יצירה נגזרת תחת אותו הרישיון בדיוק. אם תאמנו עליו מודל ותפיצו את המשקולות, ייתכן שתידרשו לשחרר אותן תחת רישיון פתוח וזהה.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון