XTTS-v2
קוד פתוחcoquiother2023-10-31
מודל המרת טקסט לדיבור שמשכפל קולות מתוך דגימה של שש שניות בלבד ב־17 שפות שונות. הפתרון הבולט למי שרוצה לשמור על אותו גוון קול במעבר בין שפות בלי להקליט שעות באולפן.
- 1.9 GBמשקל הקבצים
- 7,241,431הורדות בחודש
- 3,775לייקים
מה זה
מדובר במודל טקסט לדיבור שמתמקד בשכפול קול מהיר ובהעברה שלו בין שפות. הרעיון פשוט: מזינים קובץ אודיו קצר של שש שניות, והוא מפיק דיבור בקול המבוקש בקצב דגימה של 24kHz. הוא תומך בהעברת סגנון ורגש ישירות מההקלטה, ומסוגל לקחת קול שהוקלט באנגלית ולגרום לו לדבר ערבית, צרפתית או יפנית תוך שמירה על מאפייני הדובר המקורי.
ביחס לגרסה הראשונה שלו, המודל הזה הוסיף תמיכה בהונגרית ובקוריאנית, שיפר את היציבות, הפרוזודיה ואיכות הצליל, ומאפשר שימוש בכמה הקלטות רפרנס שונות במקביל ואינטרפולציה ביניהן. הוא בנוי על ספריית Coqui ומיועד להרצה מקומית, מה שנותן שליטה מלאה בנתונים ובפלט.
מתאים ל
- דיבוב רב לשוני
שכפול קול של דובר בודד לשפות כמו ספרדית, צרפתית או גרמנית מתוך דגימת אודיו קצרה אחת.
- עוזרי קול וצ'אט
חיבור המודל למודלי שפה לצורך מענה קולי בזמן אמת, תוך שליטה על סגנון הדיבור והאינטונציה.
- קריינות מותאמת אישית
הפקת דיבור בקצב דגימה של 24kHz מתוך שילוב ומיזוג של כמה דגימות קול שונות לקבלת גוון ייחודי.
איפה זה נופל
הבעיה המרכזית עבור מפתחים בארץ היא היעדר מוחלט של תמיכה בעברית. מתוך 17 השפות הנתמכות, השפה השמית היחידה היא ערבית, כך שלטקסטים בעברית הוא פשוט לא רלוונטי ללא אימון נוסף. מעבר לזה, שכפול שמבוסס על שש שניות בלבד נוטה להיות רגיש לרעשי רקע ולא תמיד תופס אינטונציות מורכבות בצורה נקייה.
אותה משפחה
XTTS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל יודע לקרוא טקסט בעברית?
לא. רשימת 17 השפות כוללת אנגלית, ערבית, רוסית ושפות אירופאיות ואסיאתיות נוספות, אך עברית אינה נתמכת כרגע ישירות מהקופסה.
כמה חומר מוקלט צריך בשביל לשכפל קול בצורה טובה?
מספיק קובץ אודיו בודד באורך שש שניות. המודל תומך גם בהזנה של כמה דגימות קול במקביל לשיפור הדיוק.
האם מותר להשתמש בו במוצר מסחרי?
הוא מופץ תחת רישיון CPML של Coqui ולא תחת רישיון פתוח חופשי. יש לקרוא את תנאי הרישיון באתר שלהם לפני שילוב במוצר שמייצר הכנסות.
איך מריצים
המודל שוקל 1.9 גיגה-בייט בסך הכול, כך שהוא לא דורש מפלצת חומרה כדי לרוץ. כרטיס מסך ביתי סביר עם זיכרון ייעודי של כמה גיגה-בייט יספיק כדי לבצע היקש בעזרת CUDA דרך ספריית ה־TTS של Coqui בפייתון או ישירות משורת הפקודה.
ההפעלה המקומית דורשת התקנה של ספריית Coqui והורדת המשקלים. אם אתם צריכים זמני תגובה נמוכים מאוד לסטרימינג ישיר או שאין לכם חומרה ייעודית זמינה, שווה לבדוק את ה־API של המפתחים במקום לתחזק שרת עצמאי.
pip install -U huggingface_hub hf download coqui/XTTS-v2
הקבצים
18 קבצים במאגר, 1.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- model.pth1.9 GB
- dvae.pth210.5 MB
- speakers_xtts.pth7.8 MB
- samples/pt_sample.wav445.5 KB
- samples/fr_sample.wav432.2 KB
- samples/zh-cn-sample.wav383.0 KB
- vocab.json361.2 KB
- samples/es_sample.wav329.8 KB
- samples/de_sample.wav299.1 KB
- samples/en_sample.wav299.1 KB
- samples/tr_sample.wav299.1 KB
- samples/ja-sample.wav284.7 KB
- config.json4.4 KB
- README.md4.3 KB
- LICENSE.txt4.0 KB
- .gitattributes1.5 KB
- mel_stats.pth1.1 KB
- hash.md532 B
הרישיון
המודל מופץ תחת רישיון Coqui Public Model License. זה אינו רישיון קוד פתוח סטנדרטי מסוג MIT או Apache. הרישיון מגדיר תנאים משלו לגבי הפצה ושימוש מסחרי, ולכן אי אפשר פשוט להטמיע אותו במוצר מסחרי מבלי לבדוק לעומק את תנאי ה־CPML וההגבלות שלו.