fffiloni/MimicMotion
רץ בדפדפןfffiloniרישיון לא דווח2024-07-23
הנפשת תמונת אדם על בסיס תנועה מסרטון קיים. מיועד למי שרוצה לבדוק יצירת וידאו מונחית שלד גוף בלי להרים שרת בעצמו.
- —הורדות בחודש
- 74לייקים
מה זה
אתם מעלים תמונת סטילס של אדם וסרטון שמציג את התנועה שרוצים לחקות. כפלט מתקבל סרטון שבו הדמות מהתמונה זזה בהתאם למקור. הממשק כולל דוגמה מוכנה מראש של תמונת demo1.jpg יחד עם סרטון תנועה קצר.
מאחורי הקלעים הכלי מחלץ את תנוחות הגוף באמצעות DWPose ומשלב אותן עם מודל הווידאו של תנועת אדם MimicMotion, שמתבסס על Stable Video Diffusion. השיטה משתמשת בהנחיית תנוחה עם מודעות לביטחון הזיהוי ומיזוג מרחבי הדרגתי כדי לייצר רצף תנועה ארוך וחלק.
מתאים ל
- הנפשת דמות מתמונה
יצירת סרטון של אדם מתוך תמונת סטילס בודדת על פי תנועות מסרטון אחר.
- בדיקת איכות שלדי תנועה
השוואה בין גרסאות המשקלים של המודל לשליטה בתנועת הגוף.
- המחשת שימוש ב־DWPose
בחינת השילוב בין מודל חילוץ תנוחה למודל יצירת וידאו מבוסס דיפוזיה.
איפה זה נופל
ההדגמה בדפדפן פשוט לא עובדת בגלל שגיאת הרצה בקוד. מעבר לכך, הדוגמה המובנית בקוד מחזירה קובץ מוכן מראש ולא מריצה עיבוד חי של התמונה שתספקו.
אם תריצו את המודל עצמאית על מחשב מתאים, תגלו שהוא תלוי לחלוטין באיכות חילוץ השלד מתוך הסרטון. תנועות מהירות, זוויות צילום מורכבות או הסתרות של הגוף יובילו לעיוותים כבדים בדמות.
שאלות
נפוצות
האם הכלי זמין להרצה בחינם בדפדפן?
לא, המרחב הזה נמצא כרגע במצב תקלה ולא נטען. גם אם הוא היה פועל, מדובר בהדגמה מוגבלת שרצה על מעבד ולא על חומרה גרפית ייעודית. כדי להשתמש בו צריך להריץ את הקוד באופן עצמאי.
מה קורה לקבצים שמעלים לממשק?
הקבצים נשלחים לעיבוד במרחב הציבורי של Hugging Face. כרגע המערכת כלל לא מעבדת קבצים חדשים בגלל שגיאת הבנייה של הדף. מומלץ לא להעלות סרטונים או תמונות פרטיות לפלטפורמות ציבוריות כאלה.
האם אפשר להריץ את המודל על המחשב?
כן, הקוד והמשקלים פתוחים להורדה. התיעוד דורש סביבת פייתון מבוססת לינוקס וכרטיס מסך חזק ברמה של Nvidia V100 כדי לבצע עיבוד בזמן סביר. תצטרכו להוריד ידנית את משקלי DWPose ו־SVD לפי ההוראות.
במה שונה הממשק הזה מהמודל המקורי?
זהו ממשק גרפי בלבד שנועד להדגים את היכולות דרך הדפדפן בלי לכתוב שורות פקודה. הוא מגביל את אפשרויות הכוונון לערכים ספציפיים שהוגדרו מראש בקוד. בפועל המודל המקורי דורש משאבי חישוב כבדים בהרבה ממה שהדף הזה מספק.
איך משתמשים
לוחצים על העלאת תמונה וסרטון מקור, או בוחרים בדוגמה הקיימת. בהגדרות המתקדמות אפשר לקבוע את כמות צעדי הדגימה בין 12 ל־50, עוצמת ההנחיה, קצב הפריימים בין 1 ל־60 וגרסת המשקלים, ואז לוחצים Submit.
בפועל הדף נמצא כרגע במצב של שגיאת בנייה ולכן אי אפשר להריץ אותו דרך הדפדפן. בנוסף הוא מוגדר על חומרת מעבד משודרגת, תצורה חלשה מאוד למודלים כבדים כמו Stable Video Diffusion שדורשים כרטיס מסך ייעודי.
הרישיון
הרישיון של המרחב לא דווח. מודלי הבסיס של Stable Video Diffusion וחלקי הקוד האחרים כפופים להגבלות השימוש המקוריות שלהם. בגלל היעדר רישיון מוגדר, לא כדאי להשתמש בתוצרים לצרכים מסחריים.