LAM

מה זה

אתם מעלים תמונת פנים אחת ומצרפים סרטון וידאו שממנו המערכת דוגמת את תנועות הראש וההבעות. בתמורה מקבלים סרטון מרונדר שבו הדמות מהתמונה זזה ומביעה בדיוק את מה שקורה בווידאו המקורי, לצד תצוגה מקדימה של התמונה שעברה עיבוד מקדים.

מאחורי הקלעים רץ המודל LAM בגרסת עשרים אלף צעדים יחד עם טכנולוגיית ראש גאוסיאני תלת ממדי. הקוד משתמש במודל מעקב פנים מסוג FLAME, מפעיל מודלים של פייסבוק לחילוץ מאפיינים ומסתמך על חבילות וידאו ועיבוד תמונה כדי לחבר את התנועה לפני הדמות. בממשק יש דוגמאות מובנות של תמונות וסרטוני מקור, כולל קליפ בשם Speeding Scandal שממחיש את סוג התנועות הנתמך.

מתאים ל

• הנפשת דמות מתמונה בודדת

  לקיחת תמונת פנים סטטית והפיכתה לווידאו חי לפי הבעות מוקלטות מראש.

• בדיקת איכות של מודל LAM

  בחינת יכולות הראש הגאוסיאני מול תמונות וסרטוני תנועה שונים לפני הטמעה עצמאית.

• דיבוב תנועתי לאווטאר

  התאמת תנועות ראש והבעות של שחקן בווידאו לפורטרט גרפי או מצולם.

איפה זה נופל

ההדגמה מיועדת לראשי דמויות בלבד ולא מנפישה גוף שלם. אם התמונה לא מכילה פנים ברורות או אם סרטון הווידאו מציג זוויות קיצוניות, מעקב הפנים ייכשל או ייצר עיוותים. כמו כן, הרצה על מעבד בסיסי עלולה לקרוס בעומס כבד או לקחת זמן רב מדי ביחס להרצה על כרטיס גרפי ייעודי.

איך משתמשים

לוחצים על תמונת דוגמה או מעלים תמונה משלכם, בוחרים סרטון תנועה מהרשימה או מעלים וידאו אחר, ולוחצים על כפתור Generate. העמוד מוגדר תחת חומרת מעבד בסיסית, מה שאומר שזמן הרינדור יהיה אטי מאוד בהשוואה לכרטיס מסך, וכדאי להמתין בסבלנות עד שהווידאו הסופי יופיע בנגן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי קוד כולל לצרכים מסחריים בכפוף לתנאי הרישיון. הקוד מוחק את זיכרון המטמון בשרת מדי שעה, כך שהקבצים שאתם מעלים לא נשמרים שם לתמיד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗