Voxtral-4B-TTS-2603
קוד פתוחmistralaicc-by-nc-4.02025-11-17
הפיכת טקסט לדיבור בקצב מהיר במיוחד ובאיכות של 24 קילוהרץ. הוא מכוון ישירות לסוכני קול שדורשים תגובה מיידית בלי זמני המתנה ארוכים.
- 7.5 GBמשקל הקבצים
- 989הורדות בחודש
- 912לייקים
מה זה
מיסטרל שחררו כאן מודל דיבור של 4 מיליארד פרמטרים שיושב במשקל של 7.5 גיגה בייט בפורמט BF16. הוא מגיע עם 20 קולות מובנים ויכולת להתאים לקולות חדשים מתוך דגימת אודיו קצרה, לצד תמיכה בתשע שפות שכוללות אנגלית, ערבית, צרפתית, ספרדית, גרמנית, איטלקית, פורטוגזית, הולנדית והינדי. הפלט יוצא בקצב של 24 קילוהרץ במגוון פורמטים מוכרים כמו WAV, MP3, או Opus.
בבדיקות שלהם על מעבד גרפי יחיד מדגם H200, הפעלת בקשה בודדת עם טקסט של 500 תווים ודגימת קול של 10 שניות הגיעה לשיהוי ראשוני של 70 מילישניות בלבד וקצב עיבוד של 0.103 בזמן אמת. תחת עומס מקבילי של 32 פניות, השיהוי עולה ל־552 מילישניות וקצב העיבוד מגיע ל־1430 תווים בשנייה לכרטיס, מה שמראה שהוא נבנה לספק תפוקה יציבה בשרת ולא רק דמואים מקומיים.
מתאים ל
- סוכני שירות קוליים באנגלית
זמן תגובה של 70 מילישניות מאפשר שיחה רציפה בלי שתיקות מביכות בין המשפטים.
- מערכות ניווט ברכב
יצירת קולות מקומיים בקובצי אודיו קלים כמו Opus ובתמיכה בשפות אירופיות.
- הקראת טקסטים בערבית
תמיכה מובנית בשפה הערבית עם איכות פלט של 24 קילוהרץ ודיקציה טבעית.
איפה זה נופל
אין כאן שום תמיכה בעברית. רשימת השפות כוללת ערבית ושפות אירופיות לצד הינדי, כך שכל ניסיון להקריא טקסט מקומי ידרוש אימון נפרד לחלוטין אם זה בכלל אפשרי. מעבר לזה, הביצועים החזקים נמדדו על כרטיס H200 יקר במיוחד, ואין שום נתונים על התנהגות המודל תחת כרטיסי צרכנים קטנים או מעבדים רגילים.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה למוצר מסחרי?
לא. הרישיון הוא CC BY-NC 4.0 שמונע כל שימוש מסחרי, כתוצאה מרישיונות המקור של מאגרי ההקלטות. כדי למכור שירות כזה צריך לפנות למיסטרל או לחפש חלופה חופשית.
האם הוא יעבוד עם טקסט בעברית?
לא, עברית לא נכללת ברשימת השפות הנתמכות. הוא תומך באנגלית, צרפתית, ספרדית, גרמנית, איטלקית, פורטוגזית, הולנדית, ערבית והינדי בלבד.
מה דרישות החומרה המינימליות להרצה מקומית?
צריך כרטיס מסך עם לפחות 16 גיגה בייט זיכרון כדי לטעון את המשקלים בפורמט BF16. כדי להתקרב לזמני השיהוי שמפורסמים בבנצ'מרק, תצטרכו חומרה חזקה משמעותית.
איך מריצים
ההרצה המומלצת נעשית דרך vLLM וספריית vllm-omni בגרסה 0.18.0 לפחות, יחד עם תלויות של mistral_common. גודל הקבצים מאפשר להרים אותו על כרטיס מסך בודד עם 16 גיגה זיכרון לפחות, שזו דרישה שקטה וסבירה למדי לשרתים עצמאיים.
הבדיקות הרשמיות נערכו על חומרת H200 כבדה, כך שעל כרטיסי 16 גיגה בסיסיים יותר זמני השיהוי יהיו כנראה פחות זוהרים מ־70 המילישניות שבטבלה. אם אתם צריכים רק לבדוק התאמה או להוציא כמה שיחות ניסיון, אפשר להשתמש בממשק של מיסטרל במקום להחזיק שרת ייעודי בענן.
pip install -U huggingface_hub hf download mistralai/Voxtral-4B-TTS-2603
הקבצים
25 קבצים במאגר, 7.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- consolidated.safetensors8.0 GB
- tekken.json14.9 MB
- voice_embedding/neutral_female.pt1.3 MB
- voice_embedding/casual_female.pt1.3 MB
- voice_embedding/es_male.pt1.3 MB
- voice_embedding/pt_female.pt1.1 MB
- voice_embedding/it_female.pt1.1 MB
- voice_embedding/neutral_male.pt1.0 MB
- voice_embedding/it_male.pt1.0 MB
- voice_embedding/de_male.pt1.0 MB
- voice_embedding/casual_male.pt904.8 KB
- voice_embedding/de_female.pt904.8 KB
- voice_embedding/nl_female.pt898.6 KB
- voice_embedding/pt_male.pt886.3 KB
- voice_embedding/es_female.pt849.5 KB
- voice_embedding/nl_male.pt849.5 KB
- voice_embedding/cheerful_female.pt812.6 KB
- voice_embedding/fr_female.pt597.6 KB
- voice_embedding/fr_male.pt597.6 KB
- voice_embedding/hi_male.pt579.1 KB
- voice_embedding/hi_female.pt530.0 KB
- voice_embedding/ar_male.pt413.3 KB
- README.md6.0 KB
- params.json3.5 KB
- .gitattributes1.6 KB
הרישיון
הרישיון הוא CC BY-NC 4.0 בגלל מערכי הנתונים של קולות המקור שעליהם הוא מתבסס. המשמעות היא פשוטה, אסור להשתמש במודל הזה לצרכים מסחריים, למכור שירות שמבוסס עליו או לשלב אותו במוצר שמכניס כסף, אלא רק למחקר, פיתוח פנימי ובדיקות.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא