Video-Diffusion-WebUI

מה זה

אתם מקלידים תיאור טקסטואלי ומקבלים קובץ וידאו קצר שנוצר על בסיס ההנחיה. הממשק מחולק ללשוניות לפי טכניקות שונות, כולל יצירת וידאו מאפס באמצעות Damo Text2Video וגישת Zero Shot Text2Video, לצד לשוניות של Stable Infinite Zoom שמייצרות תנועת התקרבות או התרחקות מתוך תמונה.

מאחורי הקלעים הקוד מתבסס על שילוב של מודלים מוכרים, ביניהם גרסאות מוקדמות של סטייבל דיפיוז'ן מבית CompVis, מודל zeroscope_v2_576w, מודל openjourney-v4, וכן Real-ESRGAN לשדרוג איכות ו־CLIP של OpenAI לניתוח טקסט ותמונה. המערכת מחברת את הכלים האלה לתוך לוח בקרה אחד ב־Gradio.

מתאים ל

• יצירת קליפ מטקסט

  מזינים תיאור מילולי בלשונית Damo או Zero Shot ומקבלים סרטון קצר שממחיש את הרעיון.

• אפקט זום אינסופי

  בוחרים בזום פנימה או החוצה כדי ליצור הנפשה רציפה שנבנית משכבות של ציור מחדש.

• בדיקת מודלים פתוחים

  משווים בין התוצאות של Zeroscope לבין גרסאות סטייבל דיפיוז'ן שונות באותו מקום.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין, הדף פשוט קורס ומציג תקלה עוד לפני שמזינים פרומפט. מעבר לזה, חלק מהלשוניות בקוד המקור, כמו אלו של Stable Diffusion Video ו־Tune-a-Video, מנוטרלות ואינן פעילות בממשק. המודלים שרצים כאן מייצרים קטעים ברזולוציה בסיסית, ולרוב תראו עיוותים אופייניים או חוסר יציבות בין פריימים עוקבים.

איך משתמשים

כרגע אי אפשר להריץ את הממשק ברשת מפני שהוא נמצא במצב של שגיאת ריצה. באופן עקרוני, ההפעלה בדפדפן מוגדרת על מעבד גרפי מסוג a10g-small, חומרה שמיועדת להחזיק מודלים כאלה אך עדיין דורשת המתנה של כמה דקות לכל יצירת קליפ. אין צורך בהרשמה מיוחדת מעבר לחשבון באתר שבו המרחב מאוחסן.

הרישיון

הפרויקט מפורסם תחת רישיון קוד פתוח מסוג apache-2.0. הרישיון מאפשר שימוש, הפצה ושינוי של הקוד, כולל לצרכים מסחריים, בכפוף לתנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗