whisper-webui-translate

מה זה

אתם מעלים קובצי שמע מהמחשב או מזינים קישור לסרטון יוטיוב, כולל אפשרות לרשימות השמעה שלמות. בצד השני מקבלים תמלול ותרגום שמוכנים להורדה בפורמטים של SRT, VTT, JSON או קובץ טקסט פשוט. אם מעלים כמה קבצים בבת אחת, התוצרים נארזים בקובץ זיפ יחיד.

מתחת למכסה המנוע רץ מימוש של faster-whisper שמשתמש במודלים כמו deepdml/faster-whisper-large-v3-turbo-ct2 לתמלול. בצד התרגום יש חיבור למנועים כמו M2M100, NLLB, MT5, ALMA, madlad400, SeamlessM4T ודגמי Llama. בנוסף משולב כאן זיהוי קולי של Silero VAD לחיתוך שקט ורכיבי pyannote לזיהוי דוברים.

מתאים ל

• יצירת כתוביות לסרטוני רשת

  מזינים קישור מיוטיוב ומפיקים קובצי SRT מתורגמים ישירות להטמעה בעריכת וידאו.

• תמלול ותרגום הרצאות

  מעלים הקלטת שמע ארוכה, מקבלים טקסט מלא ומתרגמים אותו לשפות אחרות במקביל.

• עיבוד מרוכז של קבצים

  טוענים תיקייה עם מספר קובצי קול ומורידים את כל התמלולים בקובץ זיפ אחד.

איפה זה נופל

חומרת המעבד הבסיסית של ההדגמה הופכת הרצה של מודלים כבדים, כמו דגמי לארג' או תרגום מבוסס Llama, לאטית עד רמת חוסר שימושיות לקבצים מלאים. בנוסף, חלוקה לדוברים בעזרת pyannote דורשת תהליך נפרד והרצה מקומית, ולא מתבצעת באופן מלא ומובנה בתוך ממשק הווב בדפדפן. איכות התרגום משתנה לחלוטין בין המנועים השונים, כך שצריך לבדוק את הדיוק של כל מודל ספציפי לפני שמסתמכים על התוצר.

איך משתמשים

בוחרים קובץ שמע או מדביקים כתובת יוטיוב, מגדירים את מודל התמלול ושפת המקור, ובוחרים מודל תרגום לפי הצורך. לחיצה על כפתור ההפעלה מתחילה את העיבוד, ופס התקדמות מציג את השלבים בזמן אמת. אין צורך בהרשמה או התחברות כדי להתחיל.

ההדגמה בדפדפן רצה על מעבד בסיסי בלבד ללא מאיץ גרפי. תמלול ותרגום של מודלים גדולים על חומרה כזאת זוחלים, ולכן קבצים ארוכים ייקחו זמן רב מאוד לעומת הרצה מקומית על כרטיס מסך.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. התוכן שאתם מעלים והקבצים שנוצרים מעובדים על השרת המארח של ההדגמה בהתאם למדיניות האתר, ולכן לא כדאי להעלות לשם הקלטות רגישות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗