GPT-SoVITS-ba

מה זה

אתם מזינים קטע שמע קצר כדוגמת ייחוס, בוחרים או מקלידים את הטקסט התואם לו, ואז כותבים את הטקסט החדש שתרצו להשמיע. הפלט שמתקבל הוא קובץ אודיו שמנסה לחקות את גוון הקול מדוגמת הייחוס ולהקריא את המשפט החדש. לפי הקוד בממשק, מוזנת כברירת מחדל שורת טקסט ביפנית, ושפת ברירת המחדל של הפרומפט מוגדרת גם היא ליפנית.

מאחורי הקלעים רץ שילוב של מודל Text2Semantic מבוסס PyTorch Lightning יחד עם SynthesizerTrn ליצירת אות השמע, לצד חילוץ מאפיינים באמצעות cnhubert. בנוסף, הקוד טוען את המודל הסיני hfl/chinese-roberta-wwm-ext-large כדי לעבד ייצוגים טקסטואליים. המבנה הזה נועד לקשר בין תוכן הפונמות לבין מאפייני הגובה והקול של הדובר.

למרות שהממשק מאפשר עבודה מול דוגמאות קוליות שונות, הוא בנוי בעיקר לבדיקת היכולת של ארכיטקטורת GPT-SoVITS על קטעים קצרים, עם דגש מובהק על שפות מזרח אסייתיות כמו יפנית וסינית.

מתאים ל

• בדיקת סינתזה ביפנית

  הפקת דיבור בקול מותאם אישית ממשפטים ביפנית, כפי שמוגדר בדוגמת ברירת המחדל.

• ניסוי שכפול קול קצר

  טעינת דגימת קול קצרה כדי לבחון איך מודל GPT-SoVITS משחזר את גוון הדובר.

• הערכת תהליך העיבוד

  בחינת יכולות המודל והבנת הקשר בין הייצוג הטקסטואלי של RoBERTa לשמע.

איפה זה נופל

המעבד החלש הוא נקודת התורפה הראשית, והוא הופך יצירה של קטעים ארוכים ללא מעשית. בנוסף, המודלים שייטענו בקוד מתמקדים ביפנית ובסינית, כך שאין כאן תמיכה בעברית או בכלים שמותאמים לשפות שמיות. מי שמחפש לבדוק את הביצועים המלאים של GPT-SoVITS יקבל כאן חוויה איטית בהרבה ממה שהמודל מספק על כרטיס מסך ייעודי.

איך משתמשים

נכנסים לעמוד, בוחרים קובץ שמע וטקסט ייחוס, מזינים את הטקסט המבוקש בתיבת הקלט ולוחצים על Generate. אין צורך בהרשמה או בהתחברות כדי להפעיל את ההדגמה. עם זאת, השרת מוגדר על חומרת מעבד בסיסית בלבד ללא מאיץ גרפי. חישוב של סינתזת קול ומודלי שפה על מעבד כזה דורש זמן עיבוד ממושך לכל משפט, וצריך לקחת בחשבון המתנה ארוכה יחסית עד לקבלת קובץ השמע.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה כולל למטרות מסחריות בכפוף למתן קרדיט. המידע שתעלו והשמע שנוצר מעובדים על גבי השרת שמארח את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗