Emolia
קוד פתוחlaioncc-by-4.02025-07-22
יש כאן גם סקירה על LAION עצמו.
מעל 215 אלף שעות דיבור עם תיוגי רגש עמוקים, וקטורי קול מבודדים ומדדי קצב. המאגר מתאים למי שבונה מודלי דיבור מבוססי הבעה וצריך נתונים בכמויות עצומות.
- 3,327הורדות בחודש
- 15לייקים
מה זה
המאגר מבוסס על שילוב של נתוני השמע המקוריים מפרויקט Emilia יחד עם נתחי שמע מתוך YODAS. סך הכל יש כאן כ־215,600 שעות של קול אנושי בשש שפות, כאשר אנגלית מובילה עם כ־139 אלף שעות, סינית עם כ־50 אלף שעות, ורחוק מאחור צרפתית, קוריאנית, גרמנית ויפנית.
לכל מקטע שמע הוסיפו תיוג רגשי רחב שנוצר באמצעות מודלים מסדרת EmoNet. הנתונים כוללים 40 קטגוריות רגש עם ציונים גולמיים והסתברויות Softmax, לצד 14 מאפיינים פארא-לשוניים כמו חדות, איכות הקלטה, מגדר, גיל מוערך ורעשי רקע. בנוסף, כל רשומה מכילה תיאור טקסטואלי של הרגש שנוצר עם BUD-E Whisper, מדד תווים לשנייה לחישוב מהירות דיבור, ווקטור ייצוג קולי מהמודל Speaker-wavLM-tbr שמבודד את גוון הקול הבסיסי מהפרוזודיה.
מתאים ל
- אימון מודלי TTS רגשיים
שליטה בסגנון הדיבור, רמת האנרגיה והרגש בהפקת דיבור מלאכותי בעזרת עשרות המדדים הרגשיים המצורפים.
- זיהוי וסיווג רגש בקול
אימון מודלי הבנה לקטלוג מצב הרוח של הדובר לפי סולם ערכים, רמת עוררות ואיכות הקלטה.
- בידוד גוון קול של דובר
שימוש בוקטורי wavLM כדי לקבץ דוברים ולשמר את זהות הקול ללא תלות במצב הרוח או בסגנון הדיבור שלהם.
איפה זה נופל
כל התיוגים כאן הם סינתטיים לחלוטין. הציונים לרגשות, איכות ההקלטה והטקסטים נוצרו על ידי מודלים ולא אומתו בידי בני אדם, כך ששגיאות זיהוי והטיות של מודלי הבסיס נכנסו ישירות למידע. בנוסף, חלוקת השפות לא מאוזנת בעליל. אנגלית וסינית מרכיבות את רוב החומר, שפות כמו יפנית או גרמנית קיבלו מעט מאוד נפח, ועברית לא קיימת בכלל במאגר. אם אתם בונים מערכת שמכוונת לשוק המקומי, הדאטה הזה לא יעזור לכם.
שאלות
נפוצות
האם יש במאגר הקלטות בעברית?
לא. המאגר כולל אך ורק שש שפות: אנגלית, סינית, צרפתית, קוריאנית, גרמנית ויפנית. שפות שאינן ברשימה הזו לא נכללו באיסוף המקורי.
מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא cc-by-4.0, המאפשר שימוש מסחרי חופשי. עליכם לתת ייחוס הולם בהתאם לדרישות הרישיון ולצטט את המחקרים המקוריים שפורטו בדף הדאטהסט.
מאיפה הגיעו תיוגי הרגש והציונים?
התיוגים נוצרו בצורה אוטומטית. צוות הפרויקט השתמש במודלים מתוך EmoNet כדי להפיק 54 ציוני רגש ומאפיינים, ובמודל BUD-E Whisper עבור תיאורי הטקסט של הרגש.
כמה מקום צריך בשביל להוריד את כל הדאטהסט?
נפח האחסון המדויק בג'יגה-בייט אינו מצוין בעמוד, אך המאגר כולל 4,195 קובצי tar דחוסים עם 215,600 שעות שמע. מדובר בטרה-בייטים רבים מאוד, ולכן עדיף להוריד רק את הקבצים הדרושים או לעבוד ישירות בסטרימינג.
איך טוענים
הנתונים מחולקים ל־4,195 קובצי tar דחוסים בפורמט WebDataset, כשכל קובץ מכיל את האודיו לצד קובצי JSON או CSV עם התיוגים, הווקטורים והמדדים. קובצי ה־tar מסומנים לפי מקורם, למשל תוספת של standard או yodas בשם הקובץ. אין צורך בטופס גישה מיוחד, המאגר פתוח להורדה ישירה דרך Hugging Face. בגלל נפח עצום של מעל 200 אלף שעות שמע, חייבים לעבוד בסטרימינג ישיר או להקצות נפח אחסון ארגוני עצום לפני שמתחילים להוריד קבצים למכונה מקומית.
from datasets import load_dataset
ds = load_dataset("laion/Emolia")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. המשמעות היא שאתם רשאים להשתמש במידע, לשנות אותו ולפתח מודלים מסחריים או מחקריים על בסיסו. התנאי היחיד הוא מתן קרדיט ברור ליוצרי המאגר, ובמקרה הזה נדרש לצטט את המאמרים של Emilia ושל EmoNet-Voice.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס