MotionCtrl_SVD

מה זה

אתם מעלים תמונת מקור, בוחרים מסלול תנועה למצלמה, מוסיפים תיאור טקסטואלי, ומקבלים קובץ וידאו קצר שמזיז את הזווית לפי ההנחיות. הממשק מחלק את העבודה לשלבים: קליטת התמונה, הגדרת המצלמה, והפעלת הרינדור.

מאחורי הקלעים פועל MotionCtrl בשילוב מודל הבסיס של Stable Video Diffusion, לצד רכיבי טקסט וראייה כמו CLIP ומודלי T5 שמעבדים את ההנחיות. המערכת מחשבת מטריצות תנועה תלת ממדיות, ומאפשרת לבחור כיוונים בסיסיים כמו מעלה, מטה, זום, וסיבוב עם או נגד כיוון השעון, או מסלולים מורכבים יותר שמשלבים כמה כיוונים ברצף.

מתאים ל

• הנפשת תמונות נוף

  הפיכת צילום סטטי של נוף לקטע וידאו קצר עם תנועת מצלמה ימינה או שמאלה.

• הדמיית תקריב למוצר

  יצירת אפקט התקרבות או התרחקות סביב אובייקט במרכז התמונה להמחשה דינמית.

• בדיקת מסלולי תנועה

  ניסוי של מטריצות תנועה תלת ממדיות על מודלי וידאו לצורכי מחקר ופיתוח.

איפה זה נופל

הבעיה העיקרית היא הסטטוס הנוכחי: העמוד תקוע במצב של Runtime Error, ולכן לחיצה על כפתורי הרינדור לא תניב תוצאה עד שהמפתחים יתקנו את הסביבה. מעבר לכך, השליטה מתמקדת בהנעת זווית הצילום כולה ולא בהנפשה של דמויות או עצמים נפרדים בתוך הסצנה.

הממשק מסתמך על תנועות מובנות או רצפי מספרים ידניים ומורכבים, מה שעלול ליצור עיוותים חזותיים סביב שולי התמונה המקורית כשהמצלמה מתרחקת או מסתובבת בזוויות חדות מדי.

איך משתמשים

טוענים תמונה בשלב הראשון, ואז בוחרים מצב מצלמה מתוך רשימת הכיוונים המוכנים או מזינים ערכי מטריצה ידנית. לאחר מכן קובעים מהירות, כותבים פרומפט, בוחרים כמות דגימות וערך סיד, ולוחצים על כפתור ההתחלה כדי לייצר את הווידאו.

כרגע אי אפשר להריץ את התהליך בפועל באתר, כיוון שהשרת מדווח על שגיאת ריצה כללית והממשק מושבת. במצב תקין על חומרת A10G Large המוקצית לו, יצירת סרטון כזה לוקחת בדרך כלל בין חצי דקה למספר דקות, כתלות בעומס ובמספר הפריימים הנדרשים.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 המאפשר שימוש חופשי, שינוי הקוד והפצה, כולל לצרכים מסחריים בכפוף לתנאי הרישיון. הקוד פתוח, אך לגבי התמונות שמעלים והסרטונים שנוצרים, מומלץ לבדוק את תנאי השירות והפרטיות של פלטפורמת Hugging Face שבה מתבצע האחסון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗