vui

מה זה

מדובר במודל טקסט לקול בגודל 300 מיליון פרמטרים, שבנוי מעל הקודק של Qwen3-TTS. הוא רץ כחלק משרת פייתון שלם שמנהל תמלול, מודל שפה ומענה קולי בקצה אחד. הרעיון המרכזי פה הוא זמני תגובה נמוכים במיוחד: על כרטיס RTX 4090 הוא מגיע לקצב יצירה של פי 9 מזמן אמת, כולל תמיכה בקטיעת דיבור ברגע שהמשתמש מתחיל לדבר.

האימון התמקד בשיחות טבעיות ולא בהקראת קריינות נקייה. המשמעות היא שהפלט מכיל צחוק, שאיפות אוויר והיסוסים מובנים, עם תמיכה בתגיות ייעודיות בטקסט. המערכת כוללת ממשק שמתחזה לפרוטוקול של OpenAI Realtime API, כך שאפשר לחבר אליה לקוחות קיימים בלי לשנות קוד.

מתאים ל

• בוט קולי מקומי

  תחליף מקומי ל־OpenAI Realtime API שרץ על חומרה מקומית ללא עלויות ענן לפי דקת שיחה.

• דיבוב דמויות במשחקים

  הפקת דיבור עם אנחה, צחוק ונשימות שמתאימים לדיאלוגים חיים יותר מקריינות רגילה.

• תמלול ומענה מהודעות קוליות

  נקודת קצה יחידה שמקבלת אודיו, מעבדת ומחזירה תשובה קולית בבקשת שרת אחת.

איפה זה נופל

המודל אומן על אנגלית בלבד ולא יודע עברית. שיבוט קולות חדשים מהקלטה חיצונית עובד פחות טוב מארבעת הקולות הצרובים מראש, וסובל מסטיות באיכות ומנטייה לחקות את צורת הדיבור של הדמויות המקוריות. בנוסף, חובה להזין תמלול שתואם מילה במילה להקלטת המקור כדי לא לשבור את הסינתזה. מתחת ל־8 ספרי קוד איכות השמע קורסת לחלוטין.

איך מריצים

כדי להריץ את הסטאק המלא שכולל תמלול, מודל שפה וקול תצטרכו לינוקס עם כרטיס מסך של אנבידיה וסביב 12 גיגה זיכרון גרפי. אם מעבירים את מנוע התמלול למעבד דרך Moonshine, דרישת הזיכרון בכרטיס יורדת לכיוון 8 גיגה. יש גם תמיכה במחשבי אפל דרך MLX. פקודת התקנה אחת מורידה את המשקלים, מתקינה תלויות ומרימה ממשק ווב מקומי.

אם אתם צריכים רק את ייצור הקול מתוך קוד, המודל שוקל 2.2 גיגה ורץ בנפרד בסקריפט עצמאי. שווה להרים אותו לבד אם כבר יש לכם תשתית שרתים ואתם רוצים רק שכבת דיבור מקומית מהירה בלי לשלם לפי דקה לספקים חיצוניים.

pip install -U huggingface_hub
hf download fluxions/vui

הקבצים

23 קבצים במאגר, 2.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• vui-190k.safetensors610.8 MB
• vui-nano.safetensors610.7 MB
• fluac-22hz-22khz.pt306.6 MB
• ckpts-vui-cohost-100m.pt198.2 MB
• vui-100m-base.pt198.2 MB
• vui-abraham-100m.pt198.2 MB
• vui-cohost-100m.pt198.2 MB
• prompts/rhian.safetensors1.5 MB
• prompts/rhian.wav1.5 MB
• prompts/maeve.safetensors690.2 KB
• prompts/maeve.wav664.4 KB
• prompts/harry.safetensors561.2 KB
• prompts/harry.wav539.6 KB
• prompts/abraham.safetensors346.9 KB
• prompts/abraham.wav332.3 KB
• README.md11.5 KB
• babble_probe-190k.pt4.9 KB
• .gitattributes1.7 KB
• config.json1.4 KB
• prompts/rhian.txt486 B
• prompts/maeve.txt240 B
• prompts/harry.txt222 B
• prompts/abraham.txt133 B

הרישיון

הקוד והמשקלים של fluxions משוחררים תחת רישיון אפאצ'י 2.0 שמאפשר שימוש מסחרי, שינוי והפצה חופשית. החלקים שנלקחו מ־Qwen של עליבאבא, כולל המקודד ומקודד הדובר, כפופים לתנאי הרישיון הנפרדים שלהם במאגרים המקוריים, ויש לוודא עמידה בהם לפני שילוב במוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗