MegaTTS3 — הדגמה

מה זה

מזינים טקסט באנגלית או בסינית וקובעים קול יעד בעזרת קובץ שמע קצר ומערך מאפיינים מוכן מראש. המערכת מחזירה קובץ אודיו חדש של הטקסט המבוקש באותו גוון קול, עם אפשרות לשלוט בעוצמת המבטא ובמידת הדמיון למקור.

מאחורי הקלעים פועל מודל דיפוזיה מסוג טרנספורמר בגודל 0.45 מיליארד פרמטרים, יחד עם מודל WaveVAE לדחיסת אות שמע, רכיב התאמת הגייה שמבוסס על Qwen2.5, ומערכת יישור זמנים בין טקסט לדיבור. הממשק כולל דוגמאות מובנות להשוואת קטעי קול באנגלית ובסינית, כולל מעבר שפות באותו המשפט.

מתאים ל

• בדיקת איכות שיבוט קולי

  האזנה לביצועי המודל באנגלית ובסינית על גבי דוגמאות קול מוכנות מראש כדי להעריך טבעיות.

• בחינת שליטה במבטא

  כוונון משקלי הדיוק והדמיון כדי לראות איך המערכת מעדנת מבטא זר בדיבור מסונתז.

• הערכת מעבר בין שפות

  בדיקת יכולת ההקראה של משפטים שמשלבים מילים באנגלית ובסינית ברצף אחד.

איפה זה נופל

ההדגמה הזו לא מאפשרת להעלות קול חופשי מהמחשב ולשבט אותו מיד. מפתחי המודל לא שחררו את רכיב הקידוד של WaveVAE משיקולי אבטחה, כך ששיבוט קול חדש דורש קובץ מאפיינים שנוצר מראש. בנוסף, המודל תומך רק באנגלית ובסינית, ולא בעברית.

איך מריצים

נכון לעכשיו אי אפשר להריץ את ההדגמה בדפדפן, כי היא נמצאת במצב שגיאת ריצה. באופן עקרוני היא מוגדרת לפעול על גבי חומרת ענן מסוג zero-a10g, שמספקת כרטיס גרפי מהיר מספיק לפענוח קולי תוך שניות בודדות בלי צורך בהמתנה של חצי דקה כמו במעבד רגיל.

pip install -U huggingface_hub
hf download ByteDance/MegaTTS3

הקבצים

22 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_transformer/model_only_last.ckpt1.8 GB
• g2p/model.safetensors1.0 GB
• wavvae/decoder.ckpt904.5 MB
• duration_lm/model_only_last.ckpt268.0 MB
• aligner_lm/model_only_last.ckpt218.4 MB
• g2p/tokenizer.json14.8 MB
• g2p/tokenizer_config.json3.2 MB
• g2p/vocab.json2.8 MB
• g2p/merges.txt1.7 MB
• g2p/trainer_state.json789.6 KB
• g2p/added_tokens.json573.9 KB
• README.md7.6 KB
• wavvae/config.yaml3.6 KB
• duration_lm/config.yaml2.7 KB
• aligner_lm/config.yaml2.3 KB
• diffusion_transformer/config.yaml2.3 KB
• .gitattributes1.6 KB
• g2p/config.json757 B
• g2p/special_tokens_map.json616 B
• g2p/generation_config.json117 B
• config.json68 B
• g2p/latest16 B

הרישיון

הרישיון בעמוד ההדגמה לא דווח, אך קוד הפרויקט המקורי מופץ תחת רישיון אפאצ'י 2.0. היעדר הגדרה מסודרת בעמוד עצמו משאיר את מעמד התוצרים והאחריות המשפטית בערפל בכל הנוגע לשימוש מסחרי ישיר דרך הרשת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗