gradio-lipsync-wav2lip

מה זה

אתם מעלים קובץ וידאו או תמונה של פנים לצד קובץ שמע, והמערכת מייצרת וידאו חדש שבו תנועות הפה מסונכרנות לצליל. מאחורי הקלעים הקוד מריץ את Wav2Lip דרך פקודת מערכת, ומאפשר לבחור בין מודל הבסיס לבין גרסת ה־GAN שאמורה להפיק תוצאה חדה יותר באזור השפתיים.

בממשק תמצאו מחווני ריווח לכיוון אזור הפה, כמו הגדלת החיתוך התחתון כדי לתפוס את הסנטר, לצד בחירה אם להחליק את התנועה ושינוי גודל הפריימים. אין כאן דוגמאות מובנות מראש, כך שחייבים להזין קבצים משלכם כדי לראות איך זה עובד.

מתאים ל

• דיבוב סרטון קצר

  התאמת דיבור קיים לקטע וידאו שבו הפנים מביטות ישר למצלמה.

• הנפשת תמונה סטטית

  הזזת שפתיים על גבי תמונת פנים בודדת באמצעות קובץ קול.

• בדיקת איכות של המודל

  השוואה בין גרסת הבסיס לגרסת ה־GAN לפני התקנה מקומית.

איפה זה נופל

ההדגמה רצה על מעבד רגיל, מה שהופך יצירה של קטעים ארוכים לאיטית וכבדה במיוחד. בנוסף, אם הזיהוי של הפנים נכשל בגלל זווית חדה, תצטרכו לשחק ידנית עם ערכי הריווח בלי לראות תצוגה מקדימה לפני תום העיבוד.

איך משתמשים

גוררים את קובץ המדיה ואת קובץ השמע לשדות המתאימים, מכוונים את הפרמטרים ולוחצים על כפתור ההפקה. היישום רץ על מעבד בסיסי בלבד בלי מאיץ גרפי, כך שעיבוד וידאו מלא ייקח זמן ולא יסתיים בכמה שניות. לא צריך חשבון מיוחד כדי לגשת, אבל בגלל חומרת המעבד עדיף לבדוק קודם קטעים קצרים מאוד של שניות בודדות.

הרישיון

הקוד פועל תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינויים. שימו לב שהמודלים המקוריים של Wav2Lip עשויים לכלול הגבלות שימוש משלהם בקוד המקור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗