SpeechCloning

מה זה

הממשק מבוסס על מודל בשם Meta מתוך ספרייה לשיבוט דיבור, שכוללת רכיבים כמו FastSpeech2, מנגנון AutoAligner ועיבוד מקדים של תכונות הגייה. הרעיון כאן הוא לקחת דיבור קיים, לחתוך אותו למשפטים בודדים, ולהרכיב מחדש את הטקסט בקול של דובר אחר, בלי לאבד את קצב הדיבור וההטעמה המקוריים.

במקום להעלות קובץ משלכם, בוחרים מתוך תפריטי בחירה של קולות מוגדרים מראש. הפלט כולל תמונת התאמה בין פונמות לאודיו, את קובץ האודיו המקורי, שלוש הקלטות ייחוס של הקולות לבחירה, ואת קובץ האודיו הסופי שמכיל את הדיבור המשובט.

מתאים ל

• החלפת קול בהקלטה קיימת

  סינתזה מחדש של משפטים מוקלטים בקול אחר תוך שמירה על האינטונציה.

• בדיקת איכות של שיבוט דיבור

  השוואה בין שלושה קולות ייחוס שונים על אותו קטע שמע.

• ניתוח התאמת פונמות לאודיו

  בחינת תמונת ה־Alignment שמראה את הקשר בין הצליל לתעתיק הטקסטואלי.

איפה זה נופל

הבעיה המרכזית היא שהחלל פשוט לא עובד כרגע ונתקע בשגיאת בנייה. מעבר לזה, הממשק לא נותן להעלות קבצי שמע משלכם אלא רק לבחור מתוך אפשרויות קבועות מראש, ואי אפשר לשמוע את קולות הייחוס לפני שהעיבוד מסתיים, אלא רק בתוצאה הסופית לצד הפלט.

איך משתמשים

הכלי רץ על מעבד רגיל ללא כרטיס גרפי ייעודי, מה שאומר שזמני העיבוד ארוכים יחסית. אתם בוחרים את הקולות מתוך התפריטים בממשק ומריצים, בלי צורך בחשבון או בהתחברות. נכון לעכשיו אי אפשר להשתמש בו ישירות בדפדפן, כי העמוד נמצא במצב של שגיאת בנייה ולא נטען.

הרישיון

הקוד מפורסם ברישיון MIT שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי. לגבי קבצי האודיו והתוצאות המיוצרות, אין פירוט נוסף מעבר לתנאי הרישיון של המאגר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗