Image-Animation-using-Thin-Plate-Spline-Motion-Model
רץ בדפדפןCVPRרישיון לא דווח2022-06-20
הכלי מנפיש תמונת פנים דוממת לפי תנועות של סרטון וידאו מקור. הוא מיועד למי שרוצה לבדוק הנפשת תווי פנים בלי לכתוב שורת קוד.
- —הורדות בחודש
- 676לייקים
מה זה
אתם מעלים תמונת פנים סטטית כקלט ראשון, ובוחרים סרטון וידאו שמכיל את התנועות שתרצו להעתיק. הממשק מציע דוגמאות מוכנות מראש גם לתמונות וגם לסרטונים, כך שאפשר להתחיל לנסות אותו מיד בלי להעלות קבצים אישיים. התוצאה הסופית שמתקבלת היא קובץ וידאו שבו הדמות מהתמונה זזה בהתאם להתרחשות בסרטון המניע.
מאחורי הקלעים רץ Thin-Plate Spline Motion Model, טכניקה שפותחה כדי לבצע עיוותים גמישים וחלקים של תמונה לפי נקודות ציון בתנועה. במקום להסתמך על מיפוי פשוט או נוקשה, המודל משתמש בפונקציות מתמטיות של עיוות משטחים כדי להעביר את הבעות הפנים והמחוות מסרטון המקור לתמונת היעד בצורה מציאותית יחסית, תוך שימוש בספריית PyTorch לחישובים.
מתאים ל
- הנפשת תמונות ישנות
הפיכת תמונת פורטרט ישנה לסרטון חי באמצעות העתקת תנועת עיניים וראש מסרטון קיים.
- בדיקת היתכנות לאווטאר
ניסוי מהיר של הבעות פנים עבור יצירת דמויות דיגיטליות על בסיס צילום יחיד.
- הדגמה למחקר אקדמי
בחינת יכולות מודל Thin-Plate Spline ישירות מהדפדפן לפני התקנה מקומית.
איפה זה נופל
ההדגמה מתמקדת בהנפשת פנים בלבד, ולא תתאים לתנועות גוף מלאות או לשינויי רקע מורכבים. מכיוון שהיא מוגדרת על מעבד בסיסי, זמני ההמתנה עשויים להיות ארוכים בהרבה מאשר בהרצה עצמאית על גבי כרטיס גרפי. כמו כן, דוגמאות ברירת המחדל מותאמות בדיוק לזוויות ולתאורה שהמודל אוהב, אך תמונות מהעולם האמיתי עם זוויות חדות, הבעות קיצוניות או איכות נמוכה עלולות לייצר עיוותים וקרעים סביב תווי הפנים.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה פתוחה בדפדפן בחינם לחלוטין. אין צורך להכניס אמצעי תשלום ואין צורך להירשם לאתר כדי להריץ בדיקות. אתם פשוט נכנסים, בוחרים קבצים ויוצרים את הסרטון.
כמה זמן לוקח לייצר את הווידאו?
העיבוד מתבצע על חומרת מעבד בסיסית, ולכן הוא לא מיידי. זמן היצירה תלוי באורך הסרטון המניע ובעומס הכללי על השרת באותו רגע. ברוב המקרים תידרש המתנה של כמה דקות לסרטון קצר.
האם אפשר להריץ את המודל על המחשב שלי?
כן, הקוד מבוסס על PyTorch וספריות סטנדרטיות וניתן להורדה והרצה עצמאית. בסביבה מקומית עם כרטיס מסך מתאים, מהירות העיבוד תהיה גבוהה בהרבה מזו שמספק שרת ההדגמה החינמי. זה מומלץ במיוחד אם יש לכם כמות גדולה של קבצים לעבד.
במה ההדגמה הזו שונה מהמודל המלא?
ההדגמה מציגה את פעולת המודל בממשק גרפי פשוט, אך ללא פרמטרים מתקדמים לשליטה באיכות או בחיתוך. בנוסף, מגבלות החומרה בענן מכתיבות ביצועים איטיים יותר ביחס למה שהמודל מסוגל לבצע בסביבת עבודה ייעודית. התוצאה הויזואלית עצמה מבוססת על אותו מודל בדיוק.
איך משתמשים
התהליך מתבצע בשלושה שלבים ברורים בממשק גרדיו. תחילה מעלים תמונה או בוחרים דוגמה, לאחר מכן מזינים סרטון מניע, ולבסוף לוחצים על כפתור Generate כדי לקבל את קובץ הווידאו המונפש. אין צורך בהתחברות או ביצירת חשבון כדי להתחיל. השרת פועל על תשתית מעבד בסיסית בלבד ללא האצת כרטיס מסך, מה שאומר שהעיבוד עשוי לקחת זמן מורגש, בייחוד אם הסרטון ארוך או כשיש עומס משתמשים בו זמנית.
הרישיון
הרישיון של המרחב לא דווח כלל במאגר. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי בתוצרים או בקוד ישירות מהעמוד הזה. אם אתם מתכננים לשלב את התוצאות בפרויקטים עסקיים, כדאי לאתר את המאמר והקוד המקוריים ולבדוק את תנאי השימוש שלהם.