XTTS-v1
קוד פתוחcoquiother2023-09-13
הופך טקסט לדיבור ומשכפל קולות מתוך דגימה של שש שניות בלבד. מתאים למי שחייב לשמר את גוון הקול המקורי גם כשעוברים בין שפות שונות.
- 2.8 GBמשקל הקבצים
- 1,121הורדות בחודש
- 369לייקים
מה זה
מבוסס על הארכיטקטורה של Tortoise עם התאמות שנועדו לאפשר דיבור רב־לשוני ושיבוט קול. במקום להקליט שעות של קריינות באולפן, מספיק קובץ שמע קצר של שש שניות כדי להפיק דיבור בקול של הדובר, תוך ניסיון לשמר גם את הרגש וסגנון הדיבור שלו. הפלט מופק בקצב דגימה של 24kHz.
בגרסה הזו קיימת תמיכה ב־14 שפות, כולל אנגלית, ספרדית, צרפתית, ערבית, סינית ויפנית. היתרון המרכזי כאן הוא היכולת לקחת קול של אדם שמדבר בשפה אחת, ולגרום לו להישמע מדבר בשפה אחרת לחלוטין בלי לאמן את המודל מחדש על אותו דובר.
מתאים ל
- דיבוב חוצה שפות
תרגום קטעי דיבור לשפות כמו אנגלית וערבית תוך שמירה על גוון הקול המקורי של הדובר.
- הפקת קריינות מהירה
יצירת קבצי קול אחידים לפודקאסטים או סרטונים מדגימת קול קצרה של שש שניות בלבד.
- אימון והתאמה אישית
ביצוע fine-tuning מקומי על מאגרי קול ייעודיים באמצעות הכלים הנתמכים בספרייה.
איפה זה נופל
עברית לא נתמכת כאן בכלל, כך שלפרויקטים מקומיים בשפת האם הוא פשוט לא יעזור כרגע. בנוסף, המודל הזה הוחלף כבר בגרסה מתקדמת יותר, XTTS-v2, ולכן בחירה בגרסה v1 דורשת סיבה טובה. הכרטיס לא מציין מדדי דיוק רשמיים, מה שאומר שתצטרכו לבדוק בעצמכם איך הוא מתמודד עם רעשי רקע בהקלטה של שש השניות ואיך נשמע המבטא בשפות היעד.
אותה משפחה
XTTS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בדיבור בעברית?
לא. רשימת 14 השפות הנתמכות כוללת אנגלית, ערבית, סינית, יפנית ומספר שפות אירופאיות, אך עברית אינה מופיעה בה.
למה להשתמש בגרסה הזו ולא ב־XTTS-v2?
היוצרים עצמם מציינים ש־XTTS-v2 כבר שוחרר. כדאי לבחור ב־v1 רק אם יש לכם תלות בקוד קיים או מגבלה ספציפית שמחייבת את הגרסה הזו.
איך מריצים
אתם מורידים כ־2.8 גיגה־בייט ומריצים אותו מקומית בעזרת ספריית TTS של Coqui, דרך פייתון או ישירות משורת הפקודה. הקוד דורש שימוש ב־CUDA, כך שצריך כרטיס מסך ייעודי של אנבידיה עם מספיק זיכרון כדי לטעון את המשקלים ולבצע אינפרנס.
היוצרים מציינים שהגרסה הזו עומדת מאחורי השירותים שלהם, אבל עם טריקים נוספים למהירות ולסטרימינג. אם אתם צריכים זמני תגובה מהירים מאוד בזמן אמת, אולי תעדיפו לבדוק את ה־API שלהם במקום להתעסק באופטימיזציה מקומית.
pip install -U huggingface_hub hf download coqui/XTTS-v1
הקבצים
7 קבצים במאגר, 2.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כ־CPML (Coqui Public Model License) ולא כרישיון קוד פתוח סטנדרטי. מדובר ברישיון מותאם אישית למודלים יוצרים של החברה. חובה להיכנס לעמוד הרישיון באתר שלהם ולקרוא את התנאים המדויקים לפני שמשלבים אותו במוצר מסחרי.