MotionCtrl — הדגמה
קוד פתוחTencentARCapache-2.02023-12-25
הכלי מפיק סרטונים תוך שליטה מדויקת בתנועות מצלמה ובמסלולי תנועה של אובייקטים. הוא מיועד ליוצרי וידאו וחוקרים שרוצים לביים שוטים מורכבים במקום לקבל תנועה אקראית ממודלי יצירה רגילים.
- 21.1 GBמשקל הקבצים
- —הורדות בחודש
- 59לייקים
מה זה
אתם בוחרים מודל בסיס, מגדירים את אופן השליטה הרצוי וקובעים כיצד המצלמה או האובייקטים יזוזו בסצנה. הפלט שמתקבל הוא סרטון קצר ברזולוציה בסיסית של 256 פיקסלים לגובה, שממחיש את התנועה שבחרתם לפי ההגדרות.
מאחורי הממשק רץ המודל MotionCtrl בשילוב מודלים של שפה וראייה ממוחשבת ממשפחת T5 של גוגל ו־CLIP של OpenAI ו־LAION, לצד דוגם DDIM. המערכת מחלקת את השליטה לשמונה תנועות מצלמה בסיסיות כמו תנועה למעלה, למטה, ימינה, שמאלה, התקרבות והתרחקות, לצד תנועות מורכבות יותר ושילובים בהתאמה אישית.
מתאים ל
- בימוי תנועות מצלמה
שליטה בתנועות פאן, זום וזוויות מורכבות בעת יצירת סרטונים ממודלי בסיס.
- שליטה במסלולי תנועה
הכוונת תנועה של אובייקטים בתוך הסצנה לפי מסלול מוגדר מראש.
- שילוב תנועות מותאם אישית
הרכבת רצף של כמה תנועות מצלמה בסיסיות יחד ליצירת שוט דינמי.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת במצב של תקלת ריצה, כך שהיא לא עובדת בדפדפן כרגע. מעבר לכך, התוצרים המוגדרים בקוד מוגבלים לגובה של 256 פיקסלים בלבד, כך שלא מדובר בסרטונים באיכות שידור. הממשק עצמו עמוס בשלבים ודורש מעבר מדורג בין כפתורים ותפריטים, במקום לתת חוויית יצירה חלקה.
שאלות
נפוצות
האם הכלי עובד בדפדפן כרגע?
לא, הממשק מציג כרגע הודעת תקלה מסוג RUNTIME_ERROR. עד שהמפתחים לא יתקנו את הבעיה בשרת, אי אפשר להפיק דרכו סרטונים ישירות מהדפדפן.
כמה עולה להשתמש באפליקציה?
השימוש בדף הוא חינמי לחלוטין ואינו דורש תשלום. גם קוד המקור פתוח תחת רישיון חופשי של אפאצ'י.
האם אפשר להריץ את המערכת על המחשב שלי?
כן, הקוד והמודלים זמינים להורדה ומבוססים על רישיון apache 2.0. עם זאת, תצטרכו כרטיס מסך חזק כדי לטעון מודלים כבדים כמו T5 ו־MotionCtrl.
מה איכות הווידאו שיוצאת מהממשק?
הקוד מפיק סרטונים בגובה של 256 פיקסלים בלבד. הרזולוציה הזו נועדה בעיקר להדגמת יכולות התנועה והמחקר, ולא להפקות וידאו סופיות.
איך מריצים
העבודה מחולקת לשלבים מובנים. בוחרים מודל, עוברים לבחירת סוג התנועה, ואז לוחצים על כיווני המצלמה הרצויים כמו Pan Up או Pan Right ומאשרים. בחירת מודל מסוים דורשת טעינה מחדש שלוקחת זמן נוסף.
החומרה שהוגדרה היא מעבד גרפי A10G Large, אבל כרגע הדף מדווח על שגיאת ריצה. כשהממשק למעלה הוא לא דורש התחברות כדי ללחוץ על הכפתורים, אך בפועל אי אפשר להריץ בו שום פעולה עד שהשרת יתוקן.
pip install -U huggingface_hub hf download TencentARC/MotionCtrl
הקבצים
7 קבצים במאגר, 21.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מפורסם תחת רישיון apache 2.0. הרישיון הזה מתיר שימוש חופשי בקוד, כולל התאמות ושימוש מסחרי, כל עוד שומרים על תנאי הרישיון המקוריים וכתב הוויתור על אחריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים