VieNeu-TTS-v3-Turbo

מה זה

מדובר במודל קטן של 131 מיליון פרמטרים שנבנה מאפס ואומן על כעשרת אלפים שעות של דיבור באנגלית ובוייטנאמית, ללא הסתמכות על ארכיטקטורה קיימת. הוא משלב את קודק האודיו MOSS-Audio-Tokenizer-Nano ומפיק דיבור בקצב דגימה של 48kHz, שזה שיפור מורגש לעומת גרסאות קודמות בסדרה שנעצרו ב־24kHz. המערכת כוללת עשרים קולות מובנים שמכסים מבטאים שונים מוייטנאם ותומכת במעבר טבעי בין שפות באותו משפט.

הייחוד המשמעותי נמצא בהטמעה הטכנית. דרך חבילת הפייתון vieneu, המודל עובד על מעבדים באמצעות ONNX Runtime ובפורמט int8 כברירת מחדל, מה שמבטל לחלוטין את התלות ב־PyTorch בסביבות קלות. זמני התגובה בהזרמה עומדים על כ־300 מילישניות לפריים הראשון, עם קצב יצירה שמהיר פי שניים עד שלושה מזמן אמת במחשב נייד ועד פי שבעה במעבדי אפל.

מתאים ל

• בוטים קוליים באנגלית

  זמן תגובה של 300 מילישניות והזרמה ישירה ממעבד רגיל מתאימים מאוד לשיחות בזמן אמת.

• דיבוב דו-לשוני

  המודל עובר חלק בין אנגלית לוייטנאמית באותו משפט בלי לשבור את רצף הדיבור.

• שכפול קול מקומי

  מאפשר לשכפל קול מקליפ של שלוש שניות ישירות על המחשב בלי לשלוח מידע לשרתים חיצוניים.

איפה זה נופל

חלון ההקשר מוגבל ל־1,024 טוקנים, ולכן הוא לא נועד לקריאת מסמכים שלמים במכה אחת אלא דורש חלוקה מוקדמת לפסקאות. שליטה ישירה בסגנון הקריאה דרך פרמטרים בוטלה בגרסה זו, והיא תלויה לחלוטין בקובץ הקול או בדגימת הרפרנס שתספקו. מי שמחפש תמיכה בעברית יגלה שהמודל עיוור לחלוטין לשפה הזו ומיועד אך ורק לוייטנאמית ואנגלית. בנוסף, דאטה-סט האימון המלא אינו ציבורי וסגור לגישה.

איך מריצים

ברוב המקרים אין צורך בכרטיס מסך. מתקינים את vieneu ומריצים על המעבד, כאשר המנוע משתמש ב־ONNX ומייצר אודיו בהזרמה ישירה בלי משאבים כבדים. אם אתם עובדים על מחשבי מק עם סיליקון, הנתיב הזה אפילו מהיר יותר משימוש בהאצת חומרה.

המעבר לכרטיס מסך של אנבידיה עם CUDA ופייתורץ' נדרש רק אם אתם מייצרים כמויות גדולות של טקסט במקביל ורוצים לנצל עיבוד באצוות. לשימוש אינטראקטיבי או להזרמה קולית בזמן אמת, הרצה מקומית על מעבד פשוט תספק תוצאות מהירות יותר ולא תצדיק תשלום על שרתי GPU או קריאות API חיצוניות.

pip install -U huggingface_hub
hf download pnnbao-ump/VieNeu-TTS-v3-Turbo

הקבצים

33 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/vieneu_backbone_shared.data415.3 MB
• onnx_update/vieneu_backbone_shared.data415.3 MB
• model.safetensors261.8 MB
• update/model.safetensors248.0 MB
• onnx_int8/vieneu_backbone_shared.data103.9 MB
• onnx_int8/vieneu_v3_heads.npz52.2 MB
• onnx_update/vieneu_v3_heads.npz52.2 MB
• denoiser.onnx42.7 MB
• speaker_encoder.onnx28.3 MB
• onnx/vieneu_v3_heads.npz25.8 MB
• onnx/vieneu_acoustic_cached.onnx14.3 MB
• onnx_int8/vieneu_acoustic_cached.onnx7.2 MB
• onnx_update/vieneu_acoustic_cached.onnx7.2 MB
• onnx_int8/vieneu_prefill.onnx1.1 MB
• onnx_int8/vieneu_decode_step.onnx1.1 MB
• onnx/vieneu_prefill.onnx324.5 KB
• onnx_update/vieneu_prefill.onnx324.5 KB
• onnx/vieneu_decode_step.onnx306.1 KB
• onnx_update/vieneu_decode_step.onnx306.1 KB
• tokenizer.json22.4 KB
• onnx_int8/tokenizer.json22.3 KB
• onnx_update/tokenizer.json22.3 KB
• update/tokenizer.json22.3 KB
• README.md13.3 KB
• update/tokenizer_config.json8.6 KB
• tokenizer_config.json8.4 KB
• onnx_int8/config.json2.2 KB
• onnx_update/config.json2.2 KB
• update/config.json2.2 KB
• .gitattributes1.7 KB
• config.json1.6 KB
• update/special_tokens_map.json1.1 KB
• special_tokens_map.json855 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 מלא, כולל משקלי המודל, קובצי ה־ONNX ועשרים הקולות המובנים. אפשר להשתמש בו במוצרים מסחריים, למכור את תוצרי האודיו ולהפיץ אותו, כל עוד שומרים על הודעת הרישיון המקורית והקרדיט למפתח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗