Voice_Cloning

מה זה

הממשק מקבל שלושה דברים: טקסט חופשי של עד שלוש שורות, קובץ שמע שמשמש דגימה לקול המבוקש, ובחירה של שפת היעד מתוך רשימה של שש עשרה שפות שכוללת אנגלית, ערבית, ספרדית, צרפתית, גרמנית ועוד. עברית לא נמצאת ברשימה הזאת. בתמורה מקבלים קובץ שמע מוקלט עם הטקסט שהזנתם בקול שמבוסס על הדגימה.

מאחורי הקלעים הקוד טוען את ספריית TTS של Coqui ומסתמך על שרשרת מודלים מוכרים בתחום, כולל Tortoise TTS בגרסה שנייה, Bark עם הרחבות לשכפול קול, ורכיבי עיבוד שמע כמו HuBERT ו־wav2vec2 של פייסבוק. שילוב המודלים הזה נועד לחלץ את מאפייני הדיבור מהדגימה ולהרכיב מהם את קובץ השמע החדש לפי השפה שנבחרה.

מתאים ל

• הקראת משפטים קצרים

  הפקת משפט או שניים בשפות נתמכות כמו אנגלית או ערבית עם קול מותאם אישית מדגימה קיימת.

• בדיקת איכות שכפול

  בחינת יכולות המודלים Tortoise ו־Bark על דגימת דיבור ספציפית לפני הטמעה במערכת מקומית.

• יצירת קטעי דיבוב

  המרת שורות טקסט בודדות לקובץ שמע בקולו של הדובר בשפות אירופיות ואסיאתיות נבחרות.

איפה זה נופל

הממשק עצמו מציג הנחיה ברורה להזין רק משפט אחד או שניים בכל פעם, כך שהוא לא בנוי להקראת פסקאות ארוכות או מסמכים. בנוסף, אין ברשימה תמיכה בעברית. מאחר שהמערכת רצה על מעבד בסיסי, כל ניסיון להעמיס קטעי שמע ארוכים עלול להיכשל או להימשך דקות ארוכות.

איך משתמשים

טוענים קובץ שמע, מקלידים משפט או שניים בתיבת הטקסט, בוחרים שפת יעד ולוחצים על כפתור ההפעלה. אין צורך בהרשמה או בחשבון כדי להשתמש. מצד שני, ההרצה מתבצעת על מעבד בסיסי בלי כרטיס גרפי. מודלים כבדים כמו Tortoise על מעבד רגיל עובדים לאט מאוד, כך שזמן ההמתנה לכל משפט צפוי להיות מורגש וממושך.

הרישיון

הפרויקט מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, העתקה ושינוי קוד. קובצי השמע והטקסט שאתם מעלים מעובדים ישירות דרך ממשק הרשת שבו האפליקציה רצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗