HierSpeech_TTS

מה זה

מקלידים משפט ומעלים קובץ שמע עם דגימת קול של הדובר שרוצים לשכפל. מקבלים קובץ שמע חדש שבו הטקסט מוקרא באותו גוון קול. הממשק כולל דוגמה מוכנה מראש עם קובץ שמע בשם 3_rick_gt.wav וטקסט באנגלית.

מאחורי הקלעים רץ שילוב של מודלים. הקוד משתמש ב־facebook/mms-300m וב־facebook/wav2vec2-xls-r-300m לחילוץ ייצוגי דיבור, יחד עם חבילת espeak-ng לעיבוד הטקסט. שרשרת העיבוד כוללת גם מודולי SpeechSR לשיפור הרזולוציה הקולית ב־24 קילו-הרץ וב־48 קילו-הרץ, ומנגנון מובנה להסרת רעשים.

מתאים ל

• בדיקת שכפול קול קצר

  מזינים משפט באנגלית ודגימת שמע כדי לבדוק איך המודל משחזר את גוון הקול.

• השוואת איכות סינתזה

  בוחנים את ביצועי המודל על דגימת הדמו הקיימת לפני שמחליטים להריץ אותו מקומית.

• ניסוי בהסרת רעשים קולית

  משחקים עם מכווני הרעש והרזולוציה כדי לבדוק את איכות השמע שיוצאת מהאלגוריתם.

איפה זה נופל

הממשק מגביל את אורך הטקסט ל־200 תווים בלבד. אם מזינים תו אחד יותר, מקבלים שגיאה ישירה והשמע לא מיוצר. בנוסף, הספייס ישן ונמצא במצב שינה, כך שהוא לא זמין לעבודה רציפה ולא מתאים לטקסטים ארוכים.

איך משתמשים

מדביקים טקסט בתיבה, בוחרים דגימת קול או משאירים את קובץ הדוגמה, ומשחקים עם המכוונים אם רוצים לשנות את פרמטרי ההפקה והרעש. לחיצה אחת מפעילה את העיבוד. הספייס מוגדר על חומרת t4-small, אבל כרגע הוא במצב שינה, כך שהכניסה אליו דורשת המתנה של כמה דקות עד שהשרת יתעורר ויטען את המודלים.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. המשמעות פשוטה: מותר להשתמש, לשנות ולבדוק את הקוד והתוצאות, אבל אסור לעשות בהם שום שימוש מסחרי.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗