MiraTTS

מה זה

מדובר במודל המרה מטקסט לדיבור שמבוסס על ארכיטקטורת Qwen2 עם כחצי מיליארד פרמטרים. השילוב של מודל שפה קטן יחסית עם פלט אודיו של 48 קילוהרץ נותן סאונד נקי וחד מאוד ביחס למקובל בכלים בגודל הזה, לצד יכולת מובנית לשכפול קול מתוך דגימות.

היוצר מדווח על מהירות ייצור של פי 100 מזמן אמת וזמן השהיה שיכול לרדת ל־100 מילישניות כשמשתמשים בהאצה ובעבודה בקבוצות. בפועל זה אומר שהוא מתאים מאוד לתרחישים אינטראקטיביים שבהם המשתמש מחכה לתשובה קולית מיידית ולא יכול לסבול שתיקות ארוכות.

מתאים ל

• בוטים קוליים באנגלית

  זמן תגובה של 100 מילישניות מאפשר לנהל שיחה שוטפת וטבעית כמעט בלי שתיקות מביכות בין המשפטים.

• שכפול קול ביתי

  מייצר קול מותאם אישית באיכות 48 קילוהרץ בלי להזדקק לחוות שרתים, מספיק כרטיס עם 6 גיגה זיכרון.

• הקראת טקסט מהירה

  קצב של פי 100 מזמן אמת הופך המרה של קובצי טקסט גדולים באנגלית או בסינית לקבצי קול לתהליך של שניות.

איפה זה נופל

החיסרון המרכזי למשתמש הישראלי הוא השפות. המודל אומן רק על אנגלית וסינית, ואין בו שום תמיכה בעברית. בנוסף, חלון ההקשר עומד על 32,768 טוקנים אבל אין מידע מתועד על התנהגות המודל בהקראת טקסטים ארוכים במיוחד, כך ששכפול קולות ויציבות הטון לאורך זמן דורשים בדיקה מעשית מצידכם.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם לפחות 6 גיגה זיכרון גרפי, דרישה צנועה שמתאימה לרוב המחשבים עם מעבד גרפי מודרני ייעודי. הקבצים שוקלים כ־1.5 גיגה ומחולקים ל־22 חלקים, כך שההורדה הראשונית מהירה ולא תופסת מקום משמעותי בדיסק.

הביצועים המרביים של פי 100 מזמן אמת מושגים בעזרת כלי Lmdeploy ועיבוד מקבילי. אם אין לכם גישה לכרטיס עם 6 גיגה זיכרון או שאתם לא רוצים להסתבך עם הגדרות סביבת ריצה ושימוש ב־Lmdeploy, עדיף להשתמש בממשק מרוחק או ב־Space הקיים בהאגינג פייס.

pip install -U huggingface_hub
hf download YatharthS/MiraTTS

הקבצים

22 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.0 GB
• decoders/detokenizer.onnx192.8 MB
• decoders/q_encoder.onnx122.4 MB
• decoders/detokenizer.safetensors105.2 MB
• decoders/processer.onnx87.5 MB
• decoders/s_encoder.onnx23.9 MB
• tokenizer.json14.1 MB
• vocab.json2.8 MB
• tokenizer_config.json2.5 MB
• decoders/upsampler.pth1.7 MB
• merges.txt1.7 MB
• example2.wav942.8 KB
• example3.wav879.4 KB
• example1.wav541.5 KB
• added_tokens.json471.7 KB
• chat_template.jinja2.5 KB
• decoders/.gitattributes1.7 KB
• .gitattributes1.7 KB
• README.md1.6 KB
• config.json1.3 KB
• special_tokens_map.json613 B
• generation_config.json170 B

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. המשמעות פשוטה: אין שימוש מסחרי מכל סוג שהוא. אתם יכולים לחקור, ללמוד ולהשתמש בו בפרויקטים אישיים, אבל אסור לשלב אותו במוצר שנמכר ללקוחות. כל פיתוח שמבוסס עליו חייב לכלול קרדיט ולהיות מופץ תחת אותו רישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗