MultiDialog
קוד פתוחIVLLabcc2024-03-03
המאגר כולל שיחות פנים אל פנים מרובות דוברים עם אודיו, תמלול ותיוג רגשי. הוא מיועד למי שמפתח מודלים לדיאלוג קולי או חוקר דינמיקה של שיחה אנושית.
- 1,051הורדות בחודש
- 30לייקים
מה זה
המאגר מציע 8,733 שיחות שמכילות 187,859 היגדים באנגלית, באורך כולל של 339.71 שעות הקלטה. כל רשומה כוללת קובץ שמע, תמלול טקסטואלי, מזהה שיחה, מזהה היגד, תגית רגש ומקור הדובר. קיימת הפרדה בין קבצי השמע שנמצאים במאגר לבין קבצי הווידאו של השיחות שמאוחסנים בקישור נפרד בגוגל דרייב.
הנתונים מחולקים לחמישה חלקים: train עם 7,011 שיחות, ושני פיצולים נוספים של בדיקה ותיקוף המחולקים לפי שכיחות, valid_freq, valid_rare, test_freq ו־test_rare. הממוצע עומד על 21.51 היגדים לשיחה ואורך שיחה ממוצע של 2.33 דקות.
לצורך ניתוח רגשי יציב יותר, הכותבים הגדירו תת קבוצה של שחקנים שרמת הדיוק הרגשי שלהם עולה על 40 אחוזים, וממליצים להשתמש רק במזהי שחקנים מסוימים המוגדרים כאיכותיים יותר.
מתאים ל
- אימון מודל דיאלוג
פיתוח מערכות שיחה קוליות מקצה לקצה על בסיס היגדים מרובי תורות ורצף דיאלוג.
- זיהוי דיבור מבוסס רגש
אימון ובדיקה של מודלי ASR על שיחות טבעיות עם תמלול צמוד.
- סיווג רגשות בשיחה
זיהוי שבעה מצבים רגשיים מתוך גלי הקול או הטקסט על בסיס תת הקבוצה האיכותית.
- סינתזת דיבור קולית
בניית מודלי TTS שמפיקים תגובות דיבור בהתאם לתגית רגשית וטקסט נתון.
איפה זה נופל
ההקלטות והתמלולים קיימים אך ורק באנגלית, כך שאין כאן מענה ישיר לעברית או לשפות אחרות. התיוג הרגשי בעייתי בחלקו, ולכן החוקרים עצמם מציעים להגביל את העבודה רק לרשימת שחקנים מצומצמת שעברה רף דיוק של 40 אחוזים בלבד. בנוסף, חומרי הווידאו אינם חלק מהמאגר המקורי בהאגינג פייס אלא יושבים בדרייב חיצוני, מה שמסרבל את האימון המולטימודלי המלא.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. כל קבצי האודיו והתמלולים במאגר מוקלטים באנגלית בלבד. אין בו דגימות בשפות נוספות.
האם מותר להשתמש בו לפרויקט מסחרי?
הרישיון מוגדר רק כ־cc ללא פירוט התנאים המדויקים. לא מומלץ להשתמש בו למוצר מסחרי לפני פנייה לחוקרים לקבלת הבהרה רשמית.
איפה קבצי הווידאו נמצאים?
הווידאו אינו מאוחסן ישירות בריפו הזה של האגינג פייס. החוקרים צירפו קישור חיצוני לתיקיית גוגל דרייב להורדת קבצי הווידאו התואמים.
מה זה תת קבוצת הרגש המומלצת?
זהו סינון של שחקנים שהפגינו דיוק רגשי של מעל 40 אחוזים בשיחות שלהם. החוקרים ממליצים להשתמש רק ברשימת מזהים ספציפית שכוללת את השחקנים האיכותיים יותר.
איך טוענים
טוענים את הנתונים באמצעות load_dataset מספריית datasets עם ציון החלק הרצוי, למשל valid_freq, תוך העברת טוקן אימות. השמע מאוחסן בארכיוני tar.gz ומאפשר טעינה מקומית או שימוש בהזרמה כדי לחסוך מקום בדיסק. השדות המרכזיים בכל דגימה הם audio שמחזיר מערך מפוענח וקצב דגימה, value עבור הטקסט המתומלל, emotion, conv_id ומידע על זהות השחקן שמופיע בשם הקובץ.
from datasets import load_dataset
ds = load_dataset("IVLLab/MultiDialog")הרישיון
הרישיון המדווח הוא cc כללי בלבד. כשהפרסום מציין רק cc בלי לפרט גרסה כמו CC-BY או CC-BY-NC, יש סיכון משפטי סביב שימוש מסחרי, ייחוס נדרש או שיתוף נגזרות. אם אתם מתכננים לאמן מודל מסחרי או לשחרר תוצר פתוח, כדאי לפנות למפרסמים מ־KAIST לבירור הסטטוס המדויק לפני תחילת העבודה.