GPT-SoVITS-3s-cloning-free-TTS

מה זה

הממשק מחולק לשניים. בחלק הראשון בוחרים דמות מתוך גלריה שממוינת לפי קטגוריות, מגדירים רגש, מזינים טקסט ומקבלים קובץ שמע מוכן יחד עם מדידת הזמן שלקחה הריצה. אפשר לבחור עד חמש דמויות שונות בתהליך העבודה.

בחלק השני אפשר ליצור קול חדש דרך שכפול קולי. בשביל זה מעלים דגימת אודיו קצרה שממנה המודל לומד את גוון הדיבור, לצד הפרטים הנדרשים להגדרת הדמות.

מתחת למכסה המנוע הקוד מתבסס על GPT-SoVITS, תוך שימוש במודולים חיצוניים לטעינת דמויות מטבלאות ועיבוד סימני פיניין בסינית. המערכת תומכת בממשק מרובה שפות שכולל אנגלית, סינית, יפנית וקוריאנית.

מתאים ל

• דיבוב דמויות מוכנות

  בחירת דמות ורגש מהגלריה והפקת קטעי דיבור של עד 1024 תווים ללא צורך בהקלטה עצמית.

• שכפול קול מדגימה קצרה

  העלאת קובץ קול באורך 3.2 עד 8 שניות לצורך יצירת פרופיל קולי חדש.

• הפקת שמע בשפות זרות

  הקראת טקסטים באנגלית, סינית, יפנית או קוריאנית עם התאמת רגשות מתוך רשימה מוגדרת.

איפה זה נופל

אורך הטקסט מוגבל לעד 1024 תווים בכל פעם, כך שהוא לא מתאים לפסקאות ארוכות במיוחד. אם רוצים לשכפל קול חדש, דגימת האודיו חייבת להיות באורך מדויק שבין 3.2 ל־8 שניות בלבד.

נוסף על כך, קול שיוצרים לא נכנס מיד לשימוש מלא, אלא מותנה בבדיקה ואישור לפני שהוא מופיע. אין בקוד שום אזכור לתמיכה בשפה העברית, והמיקוד הברור הוא בשפות מזרח אסיה ואנגלית.

איך משתמשים

אין צורך בהרשמה או התחברות. נכנסים, בוחרים דמות ורגש או מעלים קובץ קול, מקלידים את הטקסט ולוחצים על כפתור ההסקה.

האפליקציה רצה על חומרת מעבד בסיסית, מה שאומר שעיבוד האודיו וההסקה צפויים להיות איטיים יחסית לשרתים עם כרטיסי מסך ייעודיים. זמן הריצה מוצג בתיבה ייעודית בסיום הפעולה.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. לגבי קובצי הקול שנוצרים או מועלים, המערכת מציינת שקולות חדשים עוברים בדיקה לפני פרסומם, כך שאין להעלות חומרים פרטיים או רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗