compressed-wav2lip

מה זה

הממשק מציג השוואת ביצועים ראש בראש בין שני מודלים של התאמת שפתיים לקול. במקום להעלות קבצים חופשיים, בוחרים קטעי וידאו ואודיו מתוך רשימת דוגמאות מובנית, ומריצים את היצירה במודל המקורי או במודל המכווץ של החברה.

התוצאה מציגה את סרטון הווידאו המסונכרן, ובנוסף מודדת את זמן הריצה הכולל בשניות, קצב הפריימים לשנייה (FPS) וכמות הפרמטרים של כל מודל. הטכנולוגיה מתבססת על מאמר מחקרי של החברה שמטרתו להאיץ את Wav2Lip על ידי כיווץ רשתות נוירונים, כך שיוכל לפעול על חומרה חלשה ומכשירי קצה.

מתאים ל

• השוואת זמני ריצה

  בדיקת ההבדל בשניות ובקצב פריימים בין המודל המקורי לגרסה המכווצת.

• בחינת איכות הווידאו

  הערכה ויזואלית של דיוק תנועת השפתיים בסרטון הדחוס לעומת המקור.

• בדיקת התאמה למכשירי קצה

  צפייה במספר הפרמטרים כדי להבין אם המודל מתאים לפריסה מקומית.

איפה זה נופל

הממשק הזה מוגבל לחלוטין לקטעי ההדגמה המובנים ואינו מאפשר להעלות סרטונים או הקלטות שלכם מהמחשב. אי אפשר לבדוק כאן איך המודל מתמודד עם דיבור בעברית, זוויות פנים מורכבות או איכויות צילום שונות. כדי לבדוק קבצים אישיים תצטרכו להוריד את הקוד מגיטהאב ולהריץ אותו באופן עצמאי.

איך משתמשים

לוחצים על אפשרויות הבחירה כדי לסמן סרטון ואודיו מהמאגר הקיים, ואז מפעילים את הכפתור של המודל המקורי או הדחוס. אין צורך בהרשמה או התחברות. ההדגמה רצה על מעבד בסיסי (cpu-basic), מה שאומר שהעיבוד בדפדפן עשוי לקחת זמן מה ולא ייצג את המהירות המרבית שאפשר להשיג עם מעבד גרפי מקומי.

הרישיון

המערכת מוגדרת תחת רישיון Apache-2.0 ברמת ה־Space, אך בקוד ובמאגר החברה מצהירה כי כל הזכויות שמורות לה והשימוש מוגבל למחקר ולמטרות לא מסחריות בלבד. קוד הכיווץ עצמו אינו פתוח וניתן רק במסגרת פתרונות עסקיים בפנייה ישירה לחברה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗