englissi/Voice-Clone-Multilingual

מה זה

הממשק מציג שלושה שדות קלט פשוטים. אתם מקלידים את הטקסט שאתם רוצים להקריא בתיבה ייעודית, מעלים קובץ שמע עם דגימת הקול המקורית, ובוחרים שפה מתוך רשימת אפשרויות קבועה. התוצאה שמתקבלת בחזרה היא קובץ אודיו חדש שמשמיע את הטקסט שהזנתם בקול מתוך ההקלטה שהעליתם.

מאחורי הקלעים הקוד טוען את ספריית TTS של פייתון יחד עם שרשרת מודלים כבדה. המערך כולל מודלים כמו tortoise-tts-v2 ו־bark של erogol לצד מודלים מבית פייסבוק כמו hubert ו־wav2vec2 לעיבוד השמע, ותוספות כמו bark-voice-cloning לחילוץ מאפייני הדיבור. הממשק עצמו בסיסי ולא מציג דוגמאות מובנות מראש, כך שתצטרכו להביא קובץ משלכם כדי להתחיל.

מתאים ל

• בדיקת שיבוט קול קצר

  ניסוי מהיר על קטע טקסט בודד כדי לשמוע איך הקול שלכם נשמע באנגלית או בגרמנית.

• הפקת דיבוב בשפות זרות

  יצירת שמע ברוסית, צרפתית או ערבית מתוך דגימת קול קיימת בלי להקליט מחדש באולפן.

• השוואת ביצועי מודלים

  בדיקה של שילוב המודלים Bark ו־Tortoise על קבצי שמע אמיתיים מול מנועי דיבור אחרים.

איפה זה נופל

הבעיה המרכזית כאן היא השפות והחומרה. הרשימה כוללת שפות כמו אנגלית, רוסית, ערבית וספרדית, אבל עברית פשוט לא קיימת שם. מעבר לזה, להריץ שרשרת של wav2vec2 ו־tortoise על מעבד בסיסי זה מתכון לזמני המתנה ארוכים או לקריסות אם הטקסט ארוך מדי. אי אפשר לדעת מראש מה איכות התוצאה בלי לבדוק בפועל, כי אין בעמוד דוגמאות שמע מוכנות להשוואה.

איך משתמשים

לוחצים על כפתור ההפעלה אחרי שמזינים את הטקסט, מעלים את קובץ האודיו ובוחרים אחת מ־16 השפות הזמינות ברשימה. אין כאן דרישה להתחברות מיוחדת או תשלום כדי לנסות. עם זאת, החומרה שמוקצית להרצה היא cpu-basic בלבד. מודלים כמו tortoise ו־bark דורשים כוח חישוב עצום בדרך כלל, כך שהרצה על מעבד רגיל תהיה אטית מאוד, וסביר שתצטרכו להמתין לא מעט זמן עד שקובץ הקול ייצא.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי בקוד, כולל עריכה והפצה. יחד עם זאת, צריך לזכור שכל קובץ שמע שאתם מעלים מועבר לשרתי הציבור של האפליקציה, וכדאי לקחת את זה בחשבון אם מדובר בהקלטות רגישות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗