speecht5-vc-demo

מה זה

אתם מעלים קובץ שמע או מקליטים ישירות דרך המיקרופון במחשב, ובוחרים אחד מתוך ארבעה קולות יעד מובנים: שני גברים ושתי נשים שמסומנים כ־BDL, CLB, RMS ו־SLT. הפלט שמתקבל הוא קובץ שמע חדש שבו נאמר אותו הטקסט בדיוק, אך בגוון הקול שנבחר מהרשימה.

מאחורי הממשק רצים המודלים mechanicalsea/speecht5-vc יחד עם microsoft/speecht5_vc, כשאליהם מצורף הווקודר microsoft/speecht5_hifigan לשחזור גל הקול. בממשק שולבו מראש ארבע דוגמאות מוכנות של קבצי mp3 ו־wav עם משפטים קצרים באנגלית, כדי שאפשר יהיה לבדוק את התוצאה מיד בלי להקליט לבד.

מתאים ל

• החלפת קול בדגימות

  המרה מהירה של הקלטת דיבור באנגלית לאחד מארבעה קולות מוגדרים מראש לצורך בדיקות שמע.

• בחינת איכות המודל

  האזנה לדוגמאות המוכנות כדי להעריך את איכות השחזור של הרכיב speecht5-hifigan.

• בדיקת היתכנות לקוד

  הבנת אופן החיבור בין מודל SpeechT5 לממשק Gradio לפני הטמעה עצמאית בפרויקט שלכם.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקלה טכנית ולא מגיבה כרגע. מעבר לזה, אי אפשר להעלות קול מטרה משלכם כדי לשבט אותו, אלא מוכרחים להסתפק בארבעת הקולות הצרובים במערכת. החומרה מבוססת המעבד הופכת המרה של קטעים ארוכים לאיטית במיוחד, והמודלים הללו אומנו על אנגלית כך שאין לצפות לתוצאות טובות עם הקלטות בעברית.

איך משתמשים

בממשק יש כפתורי רדיו לבחירת הדובר, תיבה להעלאת קובץ שמע ותיבה נפרדת להקלטה מהמיקרופון. אתם מזינים את הקול שלכם או בוחרים באחת הדוגמאות הקיימות, ולוחצים על כפתור ההפעלה כדי להתחיל בעיבוד.

האפליקציה רצה על חומרת מעבד בסיסית מסוג cpu-basic וללא מאיץ גרפי ייעודי, ולכן עיבוד של קובץ אורך זמן ולא מסתיים ברגע. אין כאן דרישה לחשבון או כניסה עם סיסמה, אבל נכון לעכשיו העמוד מסומן במצב של שגיאת ריצה ולכן לא ניתן להפעיל אותו בפועל בדפדפן עד שיתוקן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה מחדש. לגבי המידע האישי, קבצי קול שמועלים או מוקלטים נשלחים לעיבוד בשרת חיצוני שמארח את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗