fffiloni/LatentSync
רץ בדפדפןfffiloniרישיון לא דווח2025-01-05
העמוד הזה מתאים תנועות שפתיים בווידאו לקובץ קול שתבחרו. הוא מיועד למי שרוצה לבדוק דיבוב או התאמת דיבור קצרה בלי להתקין סביבת פיתוח שלמה.
- —הורדות בחודש
- 622לייקים
מה זה
אתם מעלים קובץ וידאו בפורמט MP4 וקובץ אודיו, ולוחצים על כפתור ההפעלה. בצד השני מקבלים וידאו חדש שבו תנועת השפתיים של הדמות מותאמת לצלילים מההקלטה. יש בממשק גם דוגמאות מוכנות מראש למי שרוצה לבדוק את התוצאה לפני שהוא מעלה חומרים משלו.
מאחורי הקלעים רץ המודל LatentSync של ByteDance יחד עם רכיבי דיפוזיה, כולל עיבוד מאפייני שמע דרך Whisper, מודל UNet תלת ממדי ורכיבי Stable Diffusion שונים. התהליך לוקח את הווידאו, חותך אותו ומייצר פריימים חדשים סביב הפה בהתאם לשמע שהזנתם.
מתאים ל
- בדיקת דיבוב לסרטון קצר
התאמת שפתיים של דובר לקובץ דיבוב חדש שהקלטתם מראש בפורמט אודיו.
- תיקון שמע בווידאו קיים
החלפת פס קול פגום בווידאו קיים מבלי שהשפתיים ייראו מנותקות מהמילים.
- בחינת יכולות LatentSync
בדיקה מהירה של מודל השפתיים של ByteDance ישירות בדפדפן בלי צורך בשרת פרטי.
איפה זה נופל
העיבוד מוגבל בהכרח לאורכים קצרים בגלל הקיצוץ הקשיח של 180 שניות לחומרה. בנוסף, חלקי הקוד נשענים על מודלים של דיפוזיה ועיבוד תמונה, מה שאומר שאם בווידאו יש זוויות חדות מדי, תאורה גרועה או תנועות ראש מהירות, האזור סביב הפה עלול להימרח או להיראות מודבק.
שאלות
נפוצות
האם השימוש בעמוד עולה כסף?
הגישה פתוחה ואינה דורשת תשלום, אבל הריצה מוגבלת במכסת הזמן היומית של ZeroGPU בחשבון שלכם. כל הפעלה מנצלת בדיוק 180 שניות מהקרדיט המוקצה.
מה קורה עם הקבצים שמועלים לשם?
הווידאו והשמע נשלחים לשרת שמריץ את היישום ונשמרים זמנית לצורך העיבוד והפקת הווידאו החדש. לא כדאי להעלות לשם חומרים רגישים או פרטיים.
כמה זמן לוקח לקבל תוצאה?
הריצה מוגדרת לקחת עד 180 שניות מחומרת ה־A10G. משך הזמן בפועל מושפע מאורך הווידאו שהזנתם ומעומס התורים על השרת באותו רגע.
אפשר להריץ את זה על המחשב במקום בדפדפן?
כן, הקוד מסתמך על חבילות פתוחות ומוריד את המשקלים של LatentSync ו־Stable Diffusion ישירות. תצטרכו כרטיס מסך מתאים עם זיכרון מספק וסביבת פייתון מקומית כדי להריץ את התהליך.
איך משתמשים
גוררים את הווידאו לחלון השמאלי, מוסיפים את קובץ הקול ולוחצים על Submit. הדף מציג הודעה מפורשת שלפיה כל ריצה כזאת לוקחת 180 שניות ממכסת הזמן היומית שלכם בחומרת ZeroGPU. הוא רץ על מאיץ A10G שמוקצה לפי דרישה, כך שאם המכסה היומית שלכם נגמרה בהאגינג פייס, תצטרכו להמתין להתחדשותה.
הרישיון
הרישיון של העמוד לא דווח בקוד או בהגדרות. כשאין רישיון מוגדר, אין לכם אישור מסודר להשתמש בתוצרים לצרכים מסחריים, ומומלץ להתייחס לזה כהדגמה טכנולוגית בלבד. הקבצים שאתם מעלים עוברים דרך השרת שמריץ את הממשק.