ControlVideo

מה זה

אתם מעלים קובץ וידאו, מקלידים תיאור טקסטואלי ובוחרים מודל בסיס, כמו גרסת ברירת המחדל של Stable Diffusion 1.5 או Ghibli Diffusion. הממשק מנתח את התנועה והמבנה בקובץ המקורי לפי תנאי שתבחרו מראש: מפת עומק, קווי מתאר מסוג canny, או תנוחת גוף באמצעות openpose. בסיום העיבוד מתקבל סרטון קצר שתואם לסגנון המבוקש ושומר על מאפייני הווידאו המקורי.

מתחת למכסה המנוע רץ יישום של מחקר בשם ControlVideo, שמשלב בין ControlNet לבין מודלי דיפוזיה כדי לייצר רצף פריימים עקבי ללא צורך באימון ייעודי לווידאו. בדוגמאות המוכנות בממשק אפשר למצוא סרטון הליכת ירח מפורסם, שהופך להליכת ירח של אינדיאנה ג'ונס בג'ונגל פראי באמצעות ניתוח עומק.

מתאים ל

• החלפת סגנון לדמות בתנועה

  המרת תנועות גוף מתוך וידאו קיים לדמות מצוירת על פי סגנון מוגדר מראש.

• הנפשת נוף לפי מפת עומק

  יצירת סביבה חדשה ששומרת על הפרספקטיבה והמרחקים של הצילום המקורי.

• בדיקת מודלים מותאמים אישית

  טעינת מודלי דיפוזיה חיצוניים לבחינת היציבות שלהם ברצף של פריימים עוקבים.

איפה זה נופל

הממשק מגביל את כמות הפריימים לעד 24 בלבד, ובברירת המחדל הערך המרבי מוגדר אפילו ל־12 פריימים. המשמעות היא שלא מקבלים סרטון שלם אלא קטע קצרצר של שנייה או שתיים. בנוסף, הדוגמאות אינן נשמרות במטמון וכל ניסיון דורש ריצה מלאה של תהליך דיפוזיה כבד, שנוטה לעיוותים בין פריימים אם התנועה המקורית מהירה מדי.

איך משתמשים

טוענים קובץ וידאו, כותבים הנחיה, בוחרים תנאי מנחה, קובעים כמות פריימים וסיד, ולוחצים על כפתור השליחה. לפי הקוד יש אפשרות לטעון ידנית מודל תואם גרסה 1.5 דרך שדה ייעודי. כרגע המרחב עצמו נמצא במצב מושהה בהאגינג פייס, כך שלא ניתן להריץ אותו ישירות בדפדפן בלי להפעיל מחדש או לשכפל את הקוד לחומרה משלכם, שמוגדרת במקור על מעבד גרפי a10g-large.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה עצמאית, כולל לצרכים מסחריים. לגבי הסרטונים שנוצרים או מועלים, השימוש כפוף לתנאי הרישיון של המודלים המופעלים ברקע, ובהם מודל הבסיס של Stable Diffusion 1.5.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗