personal_dialog
קוד פתוחsilverother2022-05-29
מאגר שיחות מרובות תורות בסינית שמחבר כל דובר לפרופיל עם מגדר, מיקום ותחומי עניין. הוא מיועד למי שמפתח מודלים לניהול דיאלוג שמותאם לאישיות הדובר.
- 423הורדות בחודש
- 30לייקים
מה זה
המאגר מכיל מיליוני שיחות שנאספו מהרשת החברתית הסינית Weibo. כל רשומה כוללת רצף של משפטים, מזהי דוברים לכל משפט, ופרופיל אישי לכל משתתף המפרט מיקום, מגדר ותגיות עניין אישיות. לפי הכרטיס, הנתונים עברו סינון קפדני, אך המפרסמים לא פירטו כיצד התבצע תהליך הנרמול או הסינון עצמו.
החלוקה הפנימית מציגה מעל 5.4 מיליון שיחות באימון, לצד כעשרת אלפים שיחות בוולידציה וכעשרת אלפים בבדיקה. בערכות הוולידציה והטסט נוספו שדות ייעודיים כמו תשובת זהב, פרופיל המשיב, וסימון האם הדיאלוג קשור ישירות לתכונות האישיות של הדובר.
מתאים ל
- אימון מודלי שיחה מותאמים
אימון מחוללי טקסט בסינית שמפיקים מענה המבוסס על מאפייני דמות כמו מיקום ומגדר.
- שליפת תגובות לפי אישיות
אימון מודלי דירוג עבור מערכות דיאלוג מבוססות אחזור שמתאימות מענה לפרופיל.
- מבחן ביצועים בהתאמת דובר
הערכת היכולת של מודלים קיימים לשמור על עקביות פרסונה לאורך שיחה מתמשכת.
איפה זה נופל
הנתונים כולם בסינית ומשקפים שיח ברשת חברתית סינית, כך שאין כאן שום ייצוג לעברית או להקשרים מקומיים. כרטיס המאגר ריק מפרטים על אופן איסוף הנתונים, פרטיות המשתמשים, או הטיות חברתיות שקיימות בטקסט. המאגר פורסם במקור סביב מחקרים מ־2019 ו־2020, כך שמדובר בסלנג ובתכנים שעשויים להיות מיושנים. אי אפשר לקחת את החומר הזה למוצר ישראלי בלי לדעת בדיוק איך סונן המידע האישי של משתמשי המקור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, המפרסמים אוסרים על כך במפורש. השימוש מוגבל למטרות מחקר לא מסחריות בלבד, בהתאם למדיניות של רשת Weibo. מודל שיאומן על החומר הזה לא יוכל להימכר כמוצר.
האם יש במאגר תמיכה בשפה העברית?
אין במאגר עברית בכלל. כל הנתונים, התוויות והתגיות כתובים בסינית בלבד. הוא אינו מועיל לפרויקטים שפונים לשוק המקומי אלא אם המטרה היא מחקר בלשני על סינית.
איך נאספו השיחות ומהיכן הן הגיעו?
הנתונים נאספו מתוך פוסטים ותגובות ברשת החברתית Weibo. החוקרים מציינים שהם סיננו את השיחות, אך כרטיס המאגר אינו מפרט את הכללים המדויקים ששימשו לניקוי הטקסט. הנתונים מתארכים סביב השנים 2019 ו־2020.
מה מייחד אותו ממאגרי שיחות רגילים ברשת?
הייחוד המרכזי הוא הצימוד ההדוק בין התוכן לבין פרופיל הדוברים. כל משפט מקושר לתגיות עניין, מגדר ועיר מגורים של המשתמש. זה מאפשר לחקור יצירת טקסט שתלוי בזהות הדובר ולא רק בהקשר השיחה.
איך טוענים
טוענים את המאגר ישירות בעזרת הספרייה datasets באמצעות המזהה silver/personal_dialog, שמריץ את סקריפט הפייתון המצורף. הנתונים שמורים בקובצי jsonl.gz דחוסים, והגישה אליהם פתוחה ללא צורך באישור מוקדם. בעת עיבוד הנתונים חובה לשים לב למבנה המשתנה בין הפיצולים, שכן שדות כמו golden_response מופיעים רק בטסט ובוולידציה.
from datasets import load_dataset
ds = load_dataset("silver/personal_dialog")הרישיון
הרישיון מוגדר כ־other ומסתמך על תנאי השימוש ומדיניות הפרטיות של Weibo. המפרסמים דורשים במפורש להגביל את השימוש למטרות שאינן מסחריות בלבד. אסור להשתמש בנתונים האלה לאימון מודל המיועד למוצר מסחרי, וכל שימוש מחקרי כפוף לתנאי הפלטפורמה שממנה נאסף הטקסט.