ViiTorVoice-NAR

מה זה

מדובר במערך רכיבים שמייצר דיבור בגישה שאינה אוטורגרסיבית, ומחולק לחלקים עצמאיים. יש כאן שילוב בין מודל שפה בגודל 0.6B שמייצר טוקנים של דיבור לפי תגיות רגש ומסכות עריכה, לבין רכיב יישור טקסט ואודיו מבוסס Qwen3 Forced Aligner, רכיב DualCodec להמרת גלי קול לטוקנים ובחזרה, ומודל W2V-BERT 2.0 לחילוץ מאפיינים סמנטיים.

הייחוד פה הוא היכולת לעשות עריכת דיבור מקומית. במקום לייצר משפט שלם מחדש כשרוצים לשנות מילה, מיישרים את האודיו לטקסט בעזרת זמנים מדויקים ומחליפים רק את המקטע הנדרש, תוך שמירה על הקול והיציבות של שאר ההקלטה.

מתאים ל

• עריכת פודקאסטים והקלטות

  תיקון מילים בודדות בתוך הקלטה קיימת בלי להקליט מחדש ובלי לשנות את שאר המשפט.

• שכפול קול עם הבעות

  יצירת דיבור בקול מותאם אישית תוך שליטה בתגיות רגש ומאפיינים קוליים.

• יישור טקסט לקול

  הפקת חותמות זמן מדויקות לחיבור בין קובץ אודיו לתמליל שלו.

איפה זה נופל

המודל תומך רק בארבע שפות: אנגלית, סינית, יפנית וקוריאנית. עברית לא נתמכת כאן בכלל, ולא תעבוד ללא אימון נוסף והתאמות עמוקות.

מורכבות התפעול גבוהה כי לא מדובר בקובץ משקלים יחיד. כל תקלה בתיאום בין רכיב היישור, חילוץ המאפיינים והקודק תפגע בתוצאה הסופית של האודיו.

איך מריצים

ההורדה כוללת 10.8 GB שמחולקים לתיקיות ייעודיות לכל רכיב. כדי להריץ את זה צריך לשמור במדויק על מבנה התיקיות שהוגדר בריפו של הפרויקט, אחרת קוד הטעינה נכשל.

בגלל שההרצה דורשת טעינה של כמה מודלים נפרדים לזיכרון בו זמנית, כולל רכיב הקידוד ומודל היישור, צריך כרטיס מסך עם מספיק זיכרון וידאו שיכול להחזיק את כולם יחד. אם אתם צריכים רק הקראת טקסט בסיסית בלי עריכה או שליטה ברגש, סביר להניח ששירות קיים יהיה פשוט יותר לתחזוקה.

pip install -U huggingface_hub
hf download ZzWater/ViiTorVoice-NAR

הקבצים

35 קבצים במאגר, 10.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dualcodec/w2v-bert-2.0/conformer_shaw.pt2.3 GB
• dualcodec/w2v-bert-2.0/model.safetensors2.3 GB
• llm/0p6_emotion/model.safetensors2.2 GB
• aligner/Qwen3-ForcedAligner-0.6B/model.safetensors1.8 GB
• llm/0p6_emotion/cache/onnx_backbone_fp32/llm_backbone_dynamic.onnx1.8 GB
• dualcodec/dualcodec_ckpts/dualcodec_25hz_16384_1024.safetensors409.2 MB
• dualcodec/dualcodec_ckpts/dualcodec_decoder.onnx268.1 MB
• dualcodec/dualcodec_ckpts/dualcodec_decoder.onnx.data267.6 MB
• dualcodec/dualcodec_ckpts/dualcodec_encode_core_30s.onnx196.9 MB
• llm/0p6_emotion/tokenizer.json4.6 MB
• aligner/Qwen3-ForcedAligner-0.6B/vocab.json2.8 MB
• aligner/Qwen3-ForcedAligner-0.6B/merges.txt1.7 MB
• aligner/Qwen3-ForcedAligner-0.6B/README.md57.5 KB
• aligner/Qwen3-ForcedAligner-0.6B/tokenizer_config.json12.7 KB
• dualcodec/dualcodec_ckpts/w2vbert2_mean_var_stats_emilia.pt9.3 KB
• assets/dualcodec_silence_2s.pt6.5 KB
• llm/0p6_emotion/train_config.json6.4 KB
• aligner/Qwen3-ForcedAligner-0.6B/config.json6.0 KB
• dualcodec/w2v-bert-2.0/README.md4.8 KB
• llm/0p6_emotion/config.json4.6 KB
• README.md2.7 KB
• dualcodec/w2v-bert-2.0/config.json1.9 KB
• .gitattributes1.6 KB
• dualcodec/w2v-bert-2.0/.gitattributes1.5 KB
• llm/0p6_emotion/scheduler.bin1.5 KB
• aligner/Qwen3-ForcedAligner-0.6B/chat_template.json1.2 KB
• llm/0p6_emotion/tokenizer_config.json785 B
• aligner/Qwen3-ForcedAligner-0.6B/.msc730 B
• config.json580 B
• aligner/Qwen3-ForcedAligner-0.6B/preprocessor_config.json330 B
• dualcodec/w2v-bert-2.0/preprocessor_config.json275 B
• aligner/Qwen3-ForcedAligner-0.6B/generation_config.json115 B
• aligner/Qwen3-ForcedAligner-0.6B/configuration.json56 B
• aligner/Qwen3-ForcedAligner-0.6B/.mv36 B
• llm/0p6_emotion/cache/onnx_backbone_fp32/llm_backbone_dynamic.onnx.lock0 B

הרישיון

הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים. עם זאת, היוצרים מציינים שיש לבדוק את תנאי הרישיון של כל תת מודל בנפרד לפני שילוב במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗