vixtts-demo

מה זה

הממשק מבוסס על מודל capleaf/viXTTS, שהוא התאמה של XTTS-v2 מבית Coqui לשפה הוייטנאמית, לצד רכיב vinorm שמבצע נרמול טקסט מקדים. אתם מזינים טקסט בתיבת הקלט, בוחרים שפה מתפריט, ומעלים דגימת אודיו קצרה שתשמש כבסיס לקול.

בצד המודל, המערכת מחלצת את מאפייני הקול מתוך קובץ השמע שהעליתם, מנרמלת את התווים אם סימנתם את האפשרות המתאימה, ומייצרת קובץ שמע חדש של הטקסט המוקרא. הפלט מושמע ישירות בדפדפן וכולל שדה טקסט נפרד שמציג מדדי ביצוע, אך הממשק אינו כולל דוגמאות מוכנות מראש בקוד.

מתאים ל

• בדיקת הקראת טקסט בוייטנאמית

  הפקת דיבור מוייטנאמית כתובה כדי לבדוק איך המודל מתמודד עם השפה.

• שכפול קול מקובץ שמע

  בדיקת איכות החיקוי של גוון קול מסוים על בסיס דגימת אודיו שהמשתמש מעלה.

• השוואת ביצועי מודל XTTS

  בחינת ההבדלים בין הגרסה הכללית של Coqui לבין ההתאמה הספציפית ב־viXTTS.

איפה זה נופל

אם הטקסט קצר מדי, הקוד מחזיר אזהרה ומסרב לייצר שמע. הבעיה המרכזית היא שהחלל כרגע מושהה ולא פעיל, ובנוסף המודל עבר התאמה ייעודית לוייטנאמית ולא לעברית. הקוד כולל מנגנוני שגיאות שמבקשים להמתין דקה או מנסים לאתחל את השרת במקרה של תקלות חריגות.

איך משתמשים

לוחצים על כפתור ההפעלה אחרי שממלאים את הטקסט ומעלים קובץ שמע לחיקוי. האפליקציה מוגדרת לרוץ על מאיץ גרפי מסוג zero-a10g שמספק עיבוד מהיר יחסית לטקסטים קצרים, בלי צורך בהתקנה מקומית. עם זאת, נכון לעכשיו היא נמצאת במצב מושהה, כך שאי אפשר להריץ אותה ישירות בדפדפן בלי להפעיל אותה מחדש או לשכפל את הקוד.

הרישיון

הרישיון מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי מוכר. המשמעות היא שאין היתר ברור לשימוש מסחרי, ובקוד מופיע תיעוד של שליחת נתונים מסוימים למאגרי דגימות, לכן לא מומלץ להעלות הקלטות קול רגישות.

הרישיון המלא ב־Hugging Face ↗