Moore-AnimateAnyone

מה זה

מעלים תמונת מקור אחת וסרטון שמגדיר את רצף התנועה. המערכת מחזירה סרטון וידאו ברזולוציה שנקבעת מראש, לרוב 512 על 768 פיקסלים, שבו הדמות המקורית זזה בדיוק לפי מנחי השלד.

מאחורי הקלעים רץ שחזור עצמאי של AnimateAnyone. הוא משלב את Stable Diffusion 1.5, מודל תנועה מבוסס AnimateDiff, מקודד תמונה של Lambda Labs ורשתות ייעודיות להכוונת התנוחה ולשמירה על מאפייני הדמות. הדוגמאות בפרויקט מציגות ריקודים ותנועות גוף מלאות של דמויות שונות שנשארות יציבות יחסית לאורך הקליפ.

מתאים ל

• הנפשת תמונות אופנה

  הלבשת תנועות הליכה או ריקוד על צילומי סטודיו של דוגמנים כדי לבדוק איך בגד נראה בתנועה מלאה.

• יצירת דמויות זזות למשחקים

  המרת איורי קונספט של דמויות לקטעי וידאו קצרים המבוססים על לכידת תנועה מוכנה מראש.

• בדיקת איכות למחקרי ראייה

  השוואת ביצועי מודלי תנועה ושלדים מול תוצאות המאמר המקורי של AnimateAnyone בסביבת בדיקה פתוחה.

איפה זה נופל

ההדגמה הנוכחית סובלת מבעיות רקע, במיוחד כשהתמונה המקורית כוללת רקע נקי וחלק. יש ריצודים ורעידות כשהתנועה עדינה או כשהסצנה סטטית. בנוסף, חוסר התאמה בין קנה המידה של הדמות לשלד יפגע בתוצאה, והמפתחים מעידים בעצמם שהקוד מגיע לכשמונים אחוז מהביצועים של המאמר המקורי.

איך משתמשים

בממשק מעלים את התמונה ואת סרטון התנועה, בוחרים גובה, רוחב, אורך פריימים, מספר צעדי דגימה וערך סיד, ולוחצים על Animate. הדף מוגדר לרוץ על מעבד גרפי A10G קטן, אבל בפועל הוא במצב שגיאת הרצה כרגע. הדפדפן פשוט לא יפיק תוצאה עד שבעלי המאגר יתקנו את הסביבה בענן.

הרישיון

הקוד וההדגמה מופצים תחת רישיון Apache 2.0 שמאפשר שימוש חופשי, אך המפתחים מצהירים שהפרויקט מיועד למחקר אקדמי בלבד ומתנערים מאחריות לתוכן שנוצר. זכויות הקבצים שמעלים תלויות במקורות שלכם, וחשוב לזכור שהמידע עובר דרך שרתי הענן שמארחים את המודל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗