Voice-Cloning

מה זה

הממשק מקבל טקסט של עד 2000 תווים ודגימת קול. את הדגימה אפשר להעלות כקובץ אודיו בנפח של עד 30 מגה בייט, או להקליט ישירות דרך המיקרופון בדפדפן. בתמורה מקבלים שמע מסונתז שמקריא את מה שכתבתם.

מאחורי הקלעים הקוד טוען מודל VITS מחבילת Coqui TTS מקובץ משקלים מקומי, יחד עם מנהל דוברים שגוזר את מאפייני הקול. עיבוד האודיו נשען על ספריות librosa ו־pydub, כך שהמערכת מנתחת את גוון הקול ומנסה להלביש אותו ישירות על הטקסט שהזנתם.

מתאים ל

• בדיקת שכפול קול באנגלית

  הפקת משפטים קצרים באודיו מדגימת קול שהקלטתם מראש במיקרופון.

• הקראת טקסטים בהתאמה אישית

  הזנת עד 2000 תווים של טקסט כדי לשמוע איך הוא נשמע בקול מוכר.

• ניסוי מקומי במודל VITS

  הורדת הקוד והמשקלים והרצתם על מחשב אישי כדי לא להיות תלויים בשרת.

איפה זה נופל

ההגבלה הראשונה והברורה היא שהחלל מושהה כרגע ולא מייצר אודיו בלחיצה. מעבר לזה, המודל רץ על מעבד רגיל בלבד, מה שמבטיח איטיות אם מנסים להפיק טקסט שמתקרב לרף 2000 התווים. בנוסף, איכות השכפול ב־VITS תלויה מאוד באיכות ההקלטה שהעליתם, ורעשי רקע מהמיקרופון יפגעו בתוצאה הסופית בצורה מורגשת.

איך משתמשים

נכנסים לעמוד, מדביקים את הטקסט בתיבה, בוחרים אם להעלות קובץ או להקליט במיקרופון, ולוחצים על כפתור ההפעלה. אין צורך בחשבון כדי לראות את הממשק. עם זאת, הסביבה מוגדרת על מעבד בסיסי בלי מאיץ גרפי, כך שעיבוד של טקסט ארוך לוקח זמן ניכר. בנוסף, נכון לעכשיו המרחב נמצא במצב מושהה, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש.

הרישיון

הקוד פתוח תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי. החומרים שאתם מעלים מועברים לשרת שעליו רץ המרחב כדי לבצע את העיבוד, ואין התחייבות לגבי אופן השמירה שלהם שם מעבר לתנאי השירות של האתר המארח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗