Qwen3-TTS-12Hz-1.7B-Base

מה זה

המודל כולל כמעט 1.93 מיליארד פרמטרים ומתבסס על ארכיטקטורת מודל שפה בדיד מרובה קודבוקים, ללא רכיבי דיפוזיה מהסוג המקובל. הדחיסה האקוסטית נעשית באמצעות טוקנייזר ייעודי של 12 הרץ שמסוגל לייצר חבילת שמע ראשונה מיד עם הזנת תו בודד. בעזרת מבנה הזרמה דו ערוצי, הוא מאפשר עבודה שוטפת בזמן אמת.

גרסת ה־Base הזו מיועדת לשיבוט קול ולבסיס לאימון נוסף. היא דורשת דגימת קול של שלוש שניות יחד עם התמלול המדויק שלה כדי לשחזר את גוון הדיבור, ומכסה עשר שפות, ביניהן אנגלית, סינית, צרפתית, ספרדית ורוסית. תוצאות מדידת שיעור שגיאות המילים במבחן סיד מציגות דיוק תמלול גבוה על שפות המקור בהשוואה למודלים פתוחים אחרים.

מתאים ל

• שיבוט קול מהיר

  הוא משחזר דובר מקובץ שמע של שלוש שניות בלבד, ומאפשר שימוש חוזר באותו פרומפט לחסכון בזמן חישוב.

• מערכות דיבור בזמן אמת

  עם זמן תגובה של 97 מילישניות לחבילת השמע הראשונה, הוא מתאים לחיבור מול ממשקים קוליים אינטראקטיביים.

• בסיס לכוונון מודלים

  הארכיטקטורה מותאמת לאימון המשך וכוונון על קולות או ניבים ספציפיים בעשר השפות הנתמכות.

איפה זה נופל

עברית לא נתמכת כאן כלל, כך שאי אפשר להשתמש בו לטקסט מקומי בלי אימון ייעודי מאפס. בנוסף, גרסת הבסיס אינה כוללת שליטה בהנחיות טקסטואליות על רגש או אינטונציה, תכונה שקיימת רק בגרסאות ה־CustomVoice וה־VoiceDesign. שיבוט קול ללא תמלול מדויק פוגע משמעותית באיכות השמע, וכרגע אין תמיכה מלאה בהגשת שרת חי אונליין דרך vLLM.

אותה משפחה

Qwen3-TTS-12Hz יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 4.2 גיגה בייט בפורמט bfloat16, כך שכרטיס מסך בודד עם 8 עד 12 גיגה זיכרון מריץ אותו ללא קושי. רצוי להפעיל FlashAttention 2 כדי לחסוך זיכרון ולהאיץ את ההסקה, ומערכת ההפעלה דורשת סביבת פייתון 3.12 עם חבילת qwen-tts הייעודית.

קיימת תמיכה ראשונית בהרצה מקומית דרך vLLM-Omni אך היא מוגבלת כרגע לעבודה לא מקוונת. אם אתם צריכים שירות רשת חי בפרודקשן בעומס כבד ואין לכם שרתי GPU זמינים, אפשר להשתמש ב־API המנוהל של DashScope במקום לנהל את התשתית בעצמכם.

pip install -U huggingface_hub
hf download Qwen/Qwen3-TTS-12Hz-1.7B-Base

הקבצים

13 קבצים במאגר, 4.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.9 GB
• speech_tokenizer/model.safetensors682.3 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• README.md57.8 KB
• tokenizer_config.json7.3 KB
• config.json4.5 KB
• speech_tokenizer/config.json2.3 KB
• .gitattributes1.5 KB
• generation_config.json245 B
• speech_tokenizer/preprocessor_config.json234 B
• preprocessor_config.json127 B
• speech_tokenizer/configuration.json76 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון אפאצ'י 2.0. מותר להשתמש בהם לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗