MegaTTS3

מה זה

מדובר במודל שמשלב מנגנון Latent Diffusion Transformer עם יישור קולי לצורך סינתזת דיבור מאפס. הוא מציע פתרון המאפשר לחקות קולות של דוברים קיימים, תוך שמירה על הבעה רגשית או התאמת הגייה תקנית לעומת מבטא מקורי. לפי התיעוד, הארכיטקטורה מתבססת על WavTokenizer לייצוג אקוסטי דיסקרטי ומכילה מודלים נוספים לשיפור היציבות.

הייחוד כאן הוא השליטה הישירה בפרמטרים של מובנות לעומת דמיון לקול המקור בעזרת משקלים מוגדרים מראש. זה מאפשר למשל לשמר מבטא זר של דובר אנגלי כשהוא מקריא טקסט בסינית, או לחלופין לתקן את ההגייה לכיוון תקני. המודל שוקל ארבעה גיגה בייט בלבד, מה שהופך אותו לקל יחסית להורדה ולשילוב.

מתאים ל

• הקראת טקסט רב לשונית

  שילוב קול קיים באנגלית להקראת משפטים בסינית, תוך שמירה על המבטא המקורי של הדובר.

• מחקר אקדמי בסינתזה

  בדיקת אלגוריתמים של יישור קולי ודיפיוז'ן בעזרת הדגימות והמשקולות המוכנות מראש.

• דיבוב מותאם עם קולות קבועים

  הפקת דיבור רגשי באנגלית או סינית עבור דמויות קבועות שמערכי המאפיינים שלהן כבר הוכנו.

איפה זה נופל

המגבלה המרכזית פוסלת אותו כמעט לכל מוצר מסחרי רגיל. מטעמי אבטחה, בייטדאנס לא שחררו את משקלי הקידוד של מודל השמע. בפועל אי אפשר לקחת קובץ קול חדש של משתמש ולהפיק ממנו דיבור, אלא חייבים להשתמש בקובצי מאפיינים שהוכנו מראש בתיקיית גוגל דרייב של הפרויקט, או להגיש להם בקשה ידנית להפקת קובץ כזה. בנוסף, הוא תומך באנגלית ובסינית בלבד, כך שאין שום תמיכה בעברית.

איך מריצים

כדי להריץ אותו מקומית צריך סביבת פייתון 3.10 או תמונת דוקר לפי ההנחיות בריפו של בייטדאנס. הוא תומך בהרצה על כרטיסי מסך וגם על מעבד, אבל הרצה על מעבד איטית מאוד ונמשכת סביב שלושים שניות לעשרה צעדי הסקה בלבד. קריאה משורת הפקודה דורשת קובץ אודיו של קול המקור לצד קובץ מאפיינים תואם.

לפני שממהרים להרים שרת עצמאי, צריך לזכור שאין כאן אפשרות לעבד קולות חדשים ישירות בקוד המקומי בגלל היעדר מקודד. אם אתם זקוקים לשיבוט דינמי של כל משתמש בזמן אמת, מודל כזה ידרוש מכם תלות בתהליך חיצוני, ובמקרה כזה שירותי ענן מוכנים יחסכו את הסיבוך.

pip install -U huggingface_hub
hf download ByteDance/MegaTTS3

הקבצים

22 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_transformer/model_only_last.ckpt1.8 GB
• g2p/model.safetensors1.0 GB
• wavvae/decoder.ckpt904.5 MB
• duration_lm/model_only_last.ckpt268.0 MB
• aligner_lm/model_only_last.ckpt218.4 MB
• g2p/tokenizer.json14.8 MB
• g2p/tokenizer_config.json3.2 MB
• g2p/vocab.json2.8 MB
• g2p/merges.txt1.7 MB
• g2p/trainer_state.json789.6 KB
• g2p/added_tokens.json573.9 KB
• README.md7.6 KB
• wavvae/config.yaml3.6 KB
• duration_lm/config.yaml2.7 KB
• aligner_lm/config.yaml2.3 KB
• diffusion_transformer/config.yaml2.3 KB
• .gitattributes1.6 KB
• g2p/config.json757 B
• g2p/special_tokens_map.json616 B
• g2p/generation_config.json117 B
• config.json68 B
• g2p/latest16 B

הרישיון

הפרויקט פורסם תחת רישיון אפאצ'י שתיים אפס, שמתיר שימוש מסחרי, שינוי והפצה חופשית של הקוד והמשקלים. עם זאת, היוצרים מדגישים בתיעוד שהמיזם מכוון בעיקר למטרות אקדמיות. כל עוד אתם מוגבלים לקולות שהם קידדו מראש, הרישיון המשפטי המתירני לא פותר את המחסום התפעולי במוצר סגור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗