AnimateDiff

מה זה

אתם בוחרים משקל בסיס של סטייבל דיפיוז'ן, מחברים מודול תנועה של המערכת, מוסיפים לפי הצורך מודל מותאם אישית או לורה, וכותבים הנחיות טקסט חיוביות ושליליות. בסיום התהליך מתקבל קובץ וידאו קצר.

הטכניקה מתבססת על הוספת שכבות תנועה תלת ממדיות לרשת של סטייבל דיפיוז'ן. הקוד טוען רכיבי טקסט של קליפ, מקודד תמונה ומודל תנועה ייעודי שמייצר עקביות בין פריימים עוקבים. הממשק מכיל גם דוגמאות מוכנות שנשמרו מראש כדי להציג את יכולות התנועה בלי להמתין להפקה מלאה.

מתאים ל

• הנפשת תמונות מטקסט

  יצירת לופים קצרים של תנועה מתוך תיאור מילולי בלבד בעזרת מודול התנועה.

• בדיקת שילוב עם לורה

  בחינה מהירה של סגנונות מותאמים אישית יחד עם תנועה ישירות מתוך הממשק.

• ניסוי פרמטרים לדגימה

  כוונון של מספר צעדים, גודל פריים וערכי הנחיה לקבלת יציבות בתנועה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת ומופיעה בה שגיאת מערכת, כך שאי אפשר להריץ בה כלום כרגע. מעבר לכך, הממשק מוגבל באורך הסרטונים עד עשרים וארבעה פריימים בלבד, מה שנותן שניות בודדות מאוד של תנועה. החיבור של מודלי לורה ומודלים מותאמים עלול לגרור עיוותים אם המשקלים אינם תואמים במדויק לרשת הבסיס, ואין כאן תמיכה בהפקת קול או בעריכת סרטונים קיימים.

איך משתמשים

כדי להריץ משהו, בוחרים מודל מתוך הרשימה, מודול תנועה, ומגדירים פרמטרים כמו רוחב, גובה, כמות צעדים ואורך אנימציה שנע בין שמונה לעשרים וארבעה פריימים. לחיצה על כפתור הייצור שולחת את המשימה לעיבוד. ההרצה דורשת כרטיס גרפי מדגם אל ארבע, אבל כרגע האפליקציה נמצאת במצב שגיאת ריצה ולא עולה כלל בדפדפן. במצב תקין יצירת וידאו על חומרה כזאת לוקחת לרוב בין חצי דקה לדקה, תלוי במספר הצעדים ובאורך הסרטון.

הרישיון

הפרויקט מפורסם תחת רישיון אפאצ'י שתיים אפס שמאפשר שימוש חופשי, שינוי קוד ושימוש מסחרי. יש לשים לב שהמודלים שנטענים בפנים, כמו גרסאות שונות של סטייבל דיפיוז'ן, מגיעים עם תנאי שימוש משלהם לגבי יצירת תוכן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗