speech-to-speech-translation

מה זה

מזינים קטע שמע דרך המיקרופון או מעלים קובץ מהמחשב, ויש גם קובץ דוגמה מוכן בשם example.wav שאפשר להריץ מיד בלי להקליט כלום. הפלט שחוזר הוא קובץ שמע חדש שנוצר ישירות בדפדפן.

מאחורי הקלעים רץ שרשור של כמה מודלים. תחילה openai/whisper-base מתמלל את הדיבור הנכנס לטקסט. הטקסט הזה עובר למודל speecht5_tts של מיקרוסופט יחד עם קובצי xvectors מתוך הדאטהסט Matthijs/cmu-arctic-xvectors שקובעים את מאפייני הקול, ולבסוף מודל speecht5_hifigan משמש כווקודר שמייצר את גל הקול הסופי.

מתאים ל

• בדיקת שרשור אודיו

  רואים איך תמלול של Whisper מתחבר ישירות למודל הקראה של SpeechT5.

• המרת קול בסיסית

  מקליטים משפט קצר באנגלית ומקבלים אותו בקול הסינתטי של המערכת.

• התנסות בקובץ דוגמה

  מריצים בלחיצה אחת את הקובץ המצורף כדי לבחון את איכות הווקודר.

איפה זה נופל

השם מדבר על תרגום, אבל הקוד מחבר ישירות תמלול באנגלית להקראה בלי שלב תרגום אמיתי באמצע. השימוש בגרסת whisper-base הבסיסית אומר שתמלול של שמע רועש או מבטא כבד ייכשל בקלות, ואין כאן תמיכה בעברית או ביכולת לבחור קולות מותאמים אישית.

איך משתמשים

לוחצים על כפתור ההקלטה או גוררים קובץ שמע לחלון הקלט, ואז שולחים לעיבוד. ההדגמה פועלת על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה, כך שזמן התגובה תלוי בזמינות המשאבים באותו רגע ויכול לקחת כמה שניות. אין צורך להתחבר עם חשבון כדי להריץ.

הרישיון

לא דווח רישיון עבור המרחב הזה. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד, וכל קובץ שמע שאתם מעלים עובר דרך השרתים של הדמו ללא פירוט על שמירת הנתונים.

הרישיון המלא ב־Hugging Face ↗