Matcha-TTS

מה זה

אתם מקלידים טקסט באנגלית, בוחרים בין מודל לדובר יחיד למודל מרובה דוברים, ולוחצים על כפתור הסינתזה. הממשק מציג את הטקסט המעובד בפונטיקה, תמונה של הספקטרוגרמה שנוצרה, וקובץ שמע לנגינה ולהורדה. בתחתית העמוד יש דוגמאות מוקלטות מראש שמציגות את היכולות של המודלים השונים עם הגדרות מוכנות מראש.

מאחורי הקלעים רץ מודל Matcha-TTS שמבוסס על מאמר מחקרי ומשתמש בשיטת conditional flow matching בשילוב ווקודר ייעודי. בקוד הממשק אפשר לראות שליטה ישירה בהיפר-פרמטרים כמו מספר צעדי הזמן, סקאלת אורך הדיבור וטמפרטורת המל, כך שניתן לשנות את מהירות הדיבור ואת מידת הדיוק והשונות של הפלט הסופי.

מתאים ל

• בדיקת איכות סינתזה

  שמיעת דוגמאות קול באנגלית כדי להעריך את טבעיות הדיבור של הארכיטקטורה החדשה.

• הערכת מהירות הפקה

  בדיקת ההשפעה של צמצום צעדי הזמן על איכות הספקטרוגרמה והשמע.

• השוואת דוברים מובנים

  בחינת ההבדלים בין קול יחיד לקולות שונים באמצעות סליידר הדוברים.

איפה זה נופל

הבעיה המרכזית היא שהעמוד במצב שגיאת בנייה ולא מייצר שמע כרגע. מעבר לכך, המודל אומן על מאגרי קול באנגלית כמו LJ Speech ולכן אינו תומך בעברית. היות ומדובר בכלי מחקרי, אין כאן אפשרות להעלות קול משלכם לשיבוט, ואתם מוגבלים לדוברים ולפרמטרים המוגדרים מראש בלבד.

איך משתמשים

בוחרים את סוג המודל, מזינים משפט בתיבת הטקסט, ובמידת הצורך משנים את הסליידר של הדובר או את הפרמטרים של הריצה. לחיצה על כפתור הסינתזה מפעילה את העיבוד. העמוד מוגדר לרוץ על חומרת t4-small ללא צורך בהתחברות או תשלום, אך נכון לעכשיו סטטוס המערכת מדווח על שגיאת בנייה ולכן ההרצה החיה בדפדפן מושבתת עד לתיקון הקוד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. הרישיון מאפשר שימוש חופשי בקוד, כולל עריכה והפצה מסחרית. לגבי השמע המופק, לא מוגדרים תנאים מגבילים מיוחדים מעבר לתנאי הרישיון הפתוח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗