CSEMOTIONS

מה זה

המאגר מכיל 4,160 משפטים מוקלטים באולפן מקצועי, שמסתכמים בערך בעשר שעות שמע בפורמט WAV מונו באיכות של 48kHz ו־24-bit. הדוברים הם חמישה גברים וחמש נשים, כולם דוברי מנדרינית שפת אם ומדבבים מקצועיים. כל רשומה כוללת את קובץ השמע, תמלול מדויק במנדרינית, תיוג הרגש, מזהה דובר אנונימי, מגדר ומזהה משפט.

ההקלטות מחולקות לשבע קטגוריות רגש מוגדרות: פחד עם כמעט שעתיים, עצב עם 1.73 שעות, שמחה עם שעה וחצי, כעס, השתובבות, הפתעה ומצב ניטרלי עם קצת יותר משעה. בנוסף כולל הפרויקט מאה פרומפטים להערכה לכל רגש, הן בסינית והן באנגלית.

מתאים ל

• אימון מודלי הקראה רגשיים

  כיוונון עדין של מודלי Text to Speech להפקת אינטונציות מגוונות לפי שבעת הרגשות המתויגים.

• זיהוי רגש מדיבור

  אימון והערכה של מערכות Speech Emotion Recognition על בסיס סיווגי הרגש והתמלול המדויק.

• שכפול קול וטרנספר

  מחקר על העברת רגש בין דוברים שונים תוך שימוש במזהי הדוברים וההקלטות הנקיות.

איפה זה נופל

ההגבלה הברורה ביותר לפיתוח מקומי היא השפה, שכן כל הדיבור כאן הוא במנדרינית בלבד ואין בו שום ייצוג לעברית. בנוסף, מדובר בעשרה דוברים בלבד ובעשר שעות תוכן, שזה נפח צנוע מאוד שמתאים בעיקר לכיוונון עדין או למחקרי הבעה ולא לאימון מודל בסיס מאפס. היוצרים אף מציינים במפורש שאינם מתחייבים להיעדר מוחלט של בעיות זכויות יוצרים או תוכן לא הולם בטקסטים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בלי צורך באישור גישה מוקדם. הנתונים מחולקים לשמונה קבצי Parquet תחת תיקיית data, לצד קבצי תיעוד ורישיון. בעבודה עם השדות חשוב לשים לב לשדה audio שמחזיק את גל השמע המלא, לצד transcript והתוויות emotion ו־speaker_id שנחוצות לפיקוח על האימון.

from datasets import load_dataset

ds = load_dataset("ATH-MaaS/CSEMOTIONS")

הרישיון

המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש חופשי, כולל שימוש מסחרי ושינוי של הנתונים. מותר לאמן מודלים על בסיס המידע בלי חובה לשחרר את התוצרים באותו רישיון. החובה העיקרית היא הכללת עותק של הרישיון המקורי ומתן קרדיט מתאים ליוצרים, כמפורט בקובצי המאגר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗