multimodalart/MisoTTS

מה זה

אתם מקלידים משפט בתיבת הטקסט ומקבלים קובץ שמע שמקריא אותו. אם רוצים לשכפל קול מסוים, אפשר לפתוח את האקורדיון הייעודי, להעלות קובץ שמע קצר כדוגמה, ולהוסיף את התמלול המדויק שלו כדי שהמערכת תמשיך את אותו סגנון דיבור. בהגדרות המתקדמות אפשר לשחק עם מזהה דובר, להגביל את אורך ההקלטה בין שתיים לשישים שניות, ולכוון מדדי טמפרטורה וטופ קיי.

מאחורי הקלעים רץ שילוב של מודל MisoTTS בנפח שמונה מיליארד פרמטרים יחד עם Moonshine Base שמשמש לעיבוד ותמלול, ובנוסף רכיבים של SilentCipher ושל Llama 3.2 1B. החיבור הזה מבצע המרה מטקסט לדיבור בסגנון CSM עם אפשרות להמשך קולי של קטע מקור קיים.

מתאים ל

• הקראת משפטים קצרים

  הקלדה של טקסט באנגלית לקבלת קובץ שמע תוך הגדרת פרמטרים כמו אורך וטמפרטורה.

• בדיקת שכפול קול

  העלאת קטע דיבור קצר יחד עם התמלול שלו כדי לראות איך המודל ממשיך את הטון.

• בחינת מודל שמונה מיליארד

  התנסות מהירה ביכולות CSM של MisoTTS ישירות דרך הדפדפן בלי להוריד משקלים.

איפה זה נופל

אם תעלו קובץ שמע קצר מדי לשכפול, תקבלו אזהרה ישירה על ירידה באיכות הצליל. הכלי גם דורש מכם לתמלל בעצמכם את קובץ הייחוס, ואם לא תקלידו את הטקסט שלו, ההרצה תיכשל מיד בשגיאה. בנוסף, קיימת הגבלת תווים שלא מפורטת במספר מדויק בקוד, ואורך האודיו חסום לשישים שניות לכל היותר, כך שאי אפשר להקריא כאן טקסטים ארוכים ברצף.

איך משתמשים

מקלידים את הטקסט, מעלים דגימת קול אם רוצים שכפול, ולוחצים על כפתור הגנרציה הראשי. אין צורך לשלם או להזין כרטיס אשראי כדי להפעיל את הדמו, אבל צריך לקחת בחשבון שיש מגבלת תווים על הקלט ושאורכי הפלט מוגבלים מראש. החומרה שמחזיקה את העמוד היא מאיץ a10g מבוסס זירו ספייסס, מה שאומר שבזמן עומס תצטרכו להמתין בתור קצר עד שהשרת יתעורר ויעבד את הבקשה.

הרישיון

הרישיון מוגדר כאחר ולא כרישיון קוד פתוח סטנדרטי. במצב כזה אין הרשאה מסחרית ברורה ואי אפשר לדעת מה הזכויות על האודיו שנוצר או על הקבצים שאתם מעלים לדמו.

הרישיון המלא ב־Hugging Face ↗