EmoVoice-DB
קוד פתוחyhahamit2025-04-22
המאגר מרכז מעל עשרים אלף קטעי דיבור באנגלית עם תיאורי רגש טקסטואליים מפורטים. הוא מתאים למי שרוצה לשלוט בהבעה הקולית של מודל דיבור באמצעות הנחיות טקסט חופשיות.
- 441הורדות בחודש
- 25לייקים
מה זה
כל רשומה במאגר כוללת משפט באנגלית, קובץ שמע מסוג wav, קטגוריית רגש ראשית, ותיאור מילולי מפורט של הטון והתחושה. הנתונים מחולקים לשבע קטגוריות רגש: כעס, שמחה, עצב, הפתעה, גועל, פחד וניטרליות, עם חלוקה שווה למדי בין הרגשות וסך הכל כארבעים שעות שמע. הרשומות מגיעות מחמישה גוני קול שונים.
לא מדובר בהקלטות של שחקנים או אנשים אמיתיים. הטקסטים ותיאורי הרגש נוצרו בעזרת GPT-4o, והאודיו עצמו סונתז במלואו באמצעות GPT-4o-audio. לאחר יצירת הקבצים המפתחים סיננו החוצה דגימות עם שיעור שגיאות מילים גבוה. כדי להרחיב את הנתונים, כל תיאור רגש נוסח מחדש בשתי גרסאות נוספות, מה שמסביר מדוע קובץ האימון מונה מעל שישים ושלושה אלף רשומות טקסט על פני כעשרים ואחת אלף דגימות שמע שונות.
מתאים ל
- אימון מודלי הקראת טקסט
אימון מודלים שמייצרים דיבור עם שליטה ברמת הרגש לפי הנחיה מילולית חופשית.
- הערכת סינתזת שמע
בדיקת יכולת המודל לייצר גוני רגש ספציפיים על סמך 700 דגימות המבחן.
- עבודה עם CosyVoice
אימון מהיר בזכות טוקנים סמנטיים של CosyVoice המוטמעים ישירות בכל רשומה.
איפה זה נופל
כל השמע כאן סינתטי לחלוטין. אם המטרה היא זיהוי רגשות בדיבור של בני אדם בעולם האמיתי, הנתונים יציגו פער מובהק כי מודל דיבור של OpenAI לא כולל את הפגמים, הנשימות והגמגומים הטבעיים של דיבור אנושי אותנטי. בנוסף, המאגר מוגבל אך ורק לאנגלית ובנוי על חמישה קולות בלבד, כך שאין כאן מגוון רחב של מבטאים או איכויות קוליות שונות.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
הרישיון המדווח הוא MIT, שמתיר שימוש מסחרי מלא בלי הגבלות מיוחדות. עם זאת, מכיוון שהתוכן סונתז כולו על ידי שירותי OpenAI, כדאי לוודא ששימוש כזה תואם את תנאי השירות שלהם ליצירת נתונים סינתטיים.
האם יש במאגר דגימות בעברית?
לא. כל הנתונים, הטקסטים וההקלטות הם באנגלית בלבד. לא קיימת תמיכה בשפות אחרות.
האם מדובר באנשים אמיתיים שהוקלטו באולפן?
לא, הנתונים סינתטיים מתחילתם ועד סופם. הטקסטים ותיאורי הרגש נוצרו על ידי GPT-4o, והקולות הופקו באמצעות מודל GPT-4o-audio בחמישה גוני קול שונים.
איך המאגר מאורגן ומה הוא כולל חוץ מאודיו?
השמע מחולק לארכיוני zip לפי שבע קטגוריות רגש. לצד קובצי ה־wav, קובצי המטא-דאטה כוללים את הטקסט הנאמר, תיאור מילולי מפורט של הרגש, ומערך טוקנים ייעודי למודל CosyVoice.
איך טוענים
המאגר פתוח להורדה ישירה ללא צורך בהרשאה מיוחדת. קובצי האודיו מאורגנים בתוך קובצי zip נפרדים לפי קטגוריית הרגש, כמו angry.zip או happy.zip. בכל רשומה מקבלים את הטקסט המקורי, נתיב לקובץ השמע, תיאור הרגש, וטוקנים סמנטיים בתדר 50 הרץ המיועדים למודל CosyVoice. בסט המבחן מצורף גם קובץ שמע ניטרלי שנועד להנחיית המודל בזמן היקש.
from datasets import load_dataset
ds = load_dataset("yhaha/EmoVoice-DB")הרישיון
המאגר מפורסם תחת רישיון MIT, מה שמתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין כאן דרישה לפתוח את הקוד של מודל שתאמנו עליו, אך ראוי לקחת בחשבון שהתוכן כולו נוצר על ידי מודלים של OpenAI.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש