MassivelyMultilingualTTS

מה זה

מזינים טקסט בתיבה של שתי שורות ובוחרים שפה מתוך רשימת שפות עצומה שמבוססת על קובץ הגדרות של ToucanTTS. אפשר להעלות קובץ שמע כדי לשבט ממנו את הקול, או להשתמש בקול מלאכותי שנוצר במקום. בממשק יש סליידרים שקובעים את יצירתיות הפרוזודיה, את מהירות ההקראה בין פי 0.7 לפי 1.3, את הסיד של הקול ואת המגדר שלו בטווח שבין מינוס עשר לפלוס עשר.

בסיום מקבלים קובץ שמע לנגינה ולהורדה, לצד תמונה שמציגה ויזואליזציה של הדיבור. מאחורי הקלעים הקוד טוען כמה ספריות במקביל, כולל ToucanTTS, StableTTS, StyleTTS ומודל זיהוי הדובר של speechbrain מחבילת voxceleb כדי לנתח את השמע שנכנס לשיבוט.

מתאים ל

• בדיקת הגייה בשפות נדירות

  מזינים משפטים קצרים בשפות אזוריות כדי לבדוק איך המודל מתמודד עם פונטיקה ייחודית.

• יצירת דגימות קול מותאמות

  משחקים עם מדדי המגדר והמהירות כדי להפיק קול ייחודי בלי צורך בהקלטת שחקן.

• שיבוט מהיר של דוברי שמע

  מעלים קובץ קול קצר ומקבלים הקראה של טקסט חדש תוך שמירה על מאפייני הדובר המקורי.

איפה זה נופל

ההבטחה של מעל 7000 שפות נשמעת מפתה, אבל בפועל איכות ההגייה בשפות עם מעט נתוני אימון עלולה להישמע רובוטית ולא אמינה. תיבת הטקסט בממשק מוגבלת לשתי שורות בלבד, כך שלא תוכלו להזין פסקאות ארוכות או מסמכים שלמים בלי לחתוך אותם ידנית. בנוסף, אם תעלו קובץ שמע באיכות גרועה עם רעשי רקע, מודל זיהוי הדובר יתקשה לבודד את המאפיינים ותקבלו עיוותים קשים בפלט.

איך משתמשים

לוחצים על כפתור ההפעלה אחרי שמגדירים את הטקסט והפרמטרים. האפליקציה רצה על חומרת zero-a10g של האגינג פייס, מה שאומר שכרטיס המסך מוקצה רק בזמן החישוב עצמו דרך ספריית spaces. העיבוד עצמו מהיר ברגע שההקצאה מתחילה, אבל בשעות עומס ייתכן שתמתינו כמה שניות עד שהחומרה תתעורר ותתפנה עבורכם. אין צורך בהתחברות או בהרשמה כדי להתחיל לעבוד.

הרישיון

הפרויקט מפורסם ברישיון mit חופשי לחלוטין. מותר לכם להשתמש בקוד ובתוצרים באופן חופשי, כולל שימוש מסחרי. עם זאת, קחו בחשבון שכל קובץ שמע שאתם מעלים או מפיקים נשלח לשרתי צד שלישי שבהם רץ הממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗