UltraVoice
קוד פתוחtutu0604mit2025-10-22
מאגר של מעל שמונה מאות שעות שיחה קוליות שנועדו לשלוט במדויק בסגנון הדיבור. הוא נותן פתרון להוראות מפורטות של רגש, מבטא, מהירות ועוצמת קול במודלי שיחה.
- 2,274הורדות בחודש
- 15לייקים
מה זה
המאגר כולל 100,770 דוגמאות של דיאלוגים קוליים, שמסתכמות ב־832.92 שעות אודיו. התהליך מאחוריו מבוסס על יצירת טקסט, הזרקת סגנון ספציפי ויצירת תשובה, סינתזה קולית לפי הסגנון שנבחר, וסינון בקרת איכות שמציג ציון UTMOS ממוצע של 4.00 ושיעור שגיאות תווים של 5.93 אחוזים.
החלוקה הפנימית מוגדרת לפי שישה ממדי שליטה עיקריים. הממד הגדול ביותר הוא מבטאים עם מעל 253 שעות, הכולל מבטא אוסטרלי, קנדי, בריטי, הודי, סינגפורי ודרום אפריקאי. ממד הרגש מכסה שבעה מצבים ובהם שמחה, עצב, כעס, הפתעה, פחד וגועל על פני כ־182 שעות. שאר הנתונים מתחלקים בין מהירות, עוצמת קול, שפות נוספות כמו סינית, יפנית וקוריאנית, ושילובים של מספר סגנונות יחד.
מתאים ל
- אימון מודלי שיחה קוליים
כוונון מודלים לשליטה ישירה בטון, מהירות ומבטא של התשובה לפי פקודות טקסט או קול.
- פיתוח מנועי הקראה אקספרסיביים
בניית מערכות TTS שיודעות לשנות רגשות ועוצמת דיבור לפי הקשר הדיאלוג.
- הערכת עקיבה אחר הוראות קוליות
בדיקת יכולת המודל לייצר פלט בסגנון משולב מורכב על בסיס סט הבדיקה המצורף.
איפה זה נופל
אין במאגר עברית בכלל. האודיו באנגלית כולל מבטאים שונים אך מוגדרים מראש, ושאר השפות מוגבלות לסינית, יפנית וקוריאנית בלבד. בנוסף, מדובר באודיו שנוצר בצורה סינתטית לפי הנחיות ולא בהקלטות של בני אדם בשיחות טבעיות. לפני שמשלבים מודל כזה במערכת חיה, חייבים לבדוק אם הוא מתמודד עם רעשי רקע ואקוסטיקה אמיתית, מאחר שהאימון בוצע על אודיו מסונתז ומסונן.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן. הרישיון של המאגר הוא MIT, והוא מתיר שימוש מסחרי חופשי. אין חובה לחשוף את הקוד של המוצר או את המודל שאימנתם.
האם יש במאגר הקלטות בעברית?
לא, אין בו עברית. השפות היחידות שנכללות הן אנגלית עם מגוון מבטאים, וכן סינית, יפנית וקוריאנית.
האם האודיו מוקלט מאנשים אמיתיים?
לא. תהליך הבנייה של הדאטהסט התבסס על סינתזה של דיבור לפי תבניות סגנון והוראות טקסטואליות, ולאחר מכן סינון איכות לפי מדדי שגיאות וציוני UTMOS.
איך ניגשים לקובצי השמע בפועל?
האודיו שמור בתוך ארכיוני zip בתיקיית wav, בחלוקה להוראות ולתשובות. חובה לפרוק את כל קובצי ה־zip במבנה התיקיות המקורי כדי שהנתיבים בקובצי ה־JSONL יעבדו.
איך טוענים
הנתונים מנוהלים דרך קובצי JSONL המחולקים לאימון ולבדיקה, לצד תיקיות wav שמכילות קובצי zip מכווצים עבור הוראות ותשובות. תצטרכו להוריד את קובצי ה־zip ולפרוס אותם ידנית לפני שטוענים את הנתיבים בקוד. כל רשומה כוללת את מזהה הדגימה, סוג ומאפיין הסגנון, הטקסטים של ההוראה והתשובה, והנתיבים היחסיים לקובצי האודיו התואמים. המאגר פתוח להורדה ישירה ללא צורך בהרשאת גישה מיוחדת.
from datasets import load_dataset
ds = load_dataset("tutu0604/UltraVoice")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא כופה פתיחת קוד או שיתוף של מודלים שאימנתם עליו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש