video-dubbing
רץ בדפדפןartificialguybrרישיון לא דווח2023-09-22
הכלי מדבב סרטוני וידאו קצרים לשפות אחרות ומסנכרן את תנועות השפתיים לקול החדש. הוא מתאים למי שרוצה לבדוק תרגום אוטומטי של דובר בודד בלי לערוך ידנית.
- —הורדות בחודש
- 331לייקים
מה זה
אתם מעלים קובץ וידאו, בוחרים שפת יעד מתוך הרשימה ומחליטים אם להפעיל סנכרון שפתיים. בסיום התהליך מקבלים קובץ וידאו חדש עם פס קול מתורגם ותנועת שפתיים מותאמת, לצד חלונית סטטוס שמדווחת על שלבי העבודה.
מאחורי הקלעים רץ שרשור של כמה מודלים נפרדים. התמלול הראשוני של הדיבור מתבצע דרך Whisper Large v3, התרגום נעשה בעזרת googletrans, והפקת הדיבור החדש מבוססת על מודל Qwen3-TTS. אם בוחרים להפעיל התאמת שפתיים, המערכת משתמשת במשקלים של Wav2Lip GAN כדי לשנות את תנועת הפה המקורית של הדובר לפי האודיו המסונתז שנוצר.
מתאים ל
- דיבוב סרטון קצר
תרגום קטע דיבור של עד דקה לשפה זרה בלחיצת כפתור אחת.
- סנכרון שפתיים מקומי
בדיקת איכות התאמת תנועות הפה של Wav2Lip על פני דובר בודד.
- החלפת פס קול
הפקת דיבור חדש בגרסה מתורגמת כשהתאמת השפתיים אינה קריטית.
איפה זה נופל
הממשק מגביל את הסרטונים לאורך מקסימלי של דקה אחת בלבד. אם מנגנון Wav2Lip נכשל בעיבוד הפנים, הקוד מבצע נפילה אוטומטית להחלפת פס הקול בלבד ומוציא אזהרה, כך שתקבלו וידאו שבו הדיבור החדש כלל אינו מסונכרן לשפתיים.
שאלות
נפוצות
האם השימוש עולה כסף?
הכלי זמין לשימוש ישיר בדפדפן על גבי התשתית של האתר. אין דרישה לתשלום כדי להעלות סרטון, אך המשאבים מוקצים באופן שיתופי.
כמה זמן לוקח התהליך?
העיבוד מורכב מכמה שלבים רצופים של תמלול, תרגום, סינתזת קול ורינדור וידאו. בגלל המעבד הגרפי החזק זה אמור לקחת דקות בודדות, אך זמני ההמתנה משתנים לפי העומס.
מה קורה אם המודל לא מזהה את הפנים?
במקרים שבהם Wav2Lip נכשל בעיבוד התמונה, מופיעה אזהרה בממשק. במצב כזה התוכנה לא עוצרת לחלוטין, אלא פשוט מחליפה את האודיו המקורי באודיו החדש בלי לשנות את התנועה.
אפשר להריץ את זה באופן עצמאי?
הקוד בנוי בעזרת Gradio וספריות פתוחות, כך שניתן להוריד אותו ולהריץ מקומית. עם זאת, תצטרכו מעבד גרפי מתאים כדי לטעון את כל המודלים במקביל.
איך משתמשים
נכנסים לממשק, מעלים סרטון של עד שישים שניות, מסמנים את שפת היעד ולוחצים על כפתור הדיבוב. ההרצה מתבצעת על מעבד גרפי מסוג A10G דרך תשתית ZeroGPU, כך שהזמן תלוי בעומס ובשאלה אם הפעלתם את Wav2Lip, שדורש עיבוד תמונה כבד בנוסף להמרת הקול.
הרישיון
היוצר לא הגדיר רישיון בקוד או בעמוד הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, ומומלץ שלא להעלות סרטונים רגישים או חומרים מסחריים בלי לבדוק את הרישיונות של המודלים המוטמעים.