Text2Video-Zero
רץ בדפדפןPAIRרישיון לא דווח2023-03-25
הדגמה שמייצרת סרטוני וידאו קצרים מטקסט או מעריכת וידאו קיים בעזרת תנאי תנועה ועומק. היא מיועדת לחוקרים ומפתחים שרוצים לבדוק יכולות של יצירת וידאו ללא אימון ייעודי.
- —הורדות בחודש
- 381לייקים
מה זה
הממשק מחולק ללשוניות לפי סוג הקלט והמשימה. אפשר להזין פרומפט טקסטואלי רגיל כדי לייצר וידאו מאפס, או להעלות וידאו קיים ולערוך אותו בהנחיות טקסט דרך מודל Pix2Pix. בנוסף, יש אפשרויות להזין תנאים מבניים שונים כמו קווי מתאר בשיטת Canny, מנחי גוף, מפות עומק, ושילוב של קווי מתאר עם מודלים שהותאמו בשיטת Dreambooth.
מאחורי הקלעים רץ קוד שמבוסס על מאמר המחקר של השיטה יחד עם המודל ControlNet של lllyasviel. הרעיון כאן הוא שימוש במודלים קיימים ליצירת תמונות והכוונת התנועה שלהם לאורך הפריימים בלי לאמן מודל וידאו כבד מהיסוד.
מתאים ל
- יצירת וידאו מטקסט
מזינים תיאור מילולי בלשונית הטקסט ומקבלים קטע וידאו קצר שמנסה לייצר תנועה לפי ההנחיה.
- עריכת סרטון קיים
מעלים וידאו בלשונית Pix2Pix ומשנים סגנון או פרטים לפי פקודת טקסט מבוקשת.
- שליטה בתנועה ומבנה
משתמשים במפות עומק, מנחי שלד או קווי מתאר עם ControlNet כדי להכתיב במדויק את המבנה של הסרטון.
איפה זה נופל
החיסרון המרכזי והמיידי הוא שההדגמה נמצאת כרגע במצב של תקלת ריצה, כך שהיא פשוט לא מגיבה. מעבר לכך, מדובר במחקר ממרץ 2023 שמנסה לכפות עקביות על מודלי תמונה, ולכן צפויים עיוותים במעברים בין פריימים. אי אפשר לצפות כאן לרינדור וידאו ארוך, חלק או ברזולוציה גבוהה כמו במודלים מסחריים מודרניים.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא. הסטטוס הנוכחי שלה מוגדר כתקלת ריצה, ולכן אי אפשר להריץ אותה ישירות כרגע. צריך להמתין שהיוצרים יתקנו את הסביבה או להוריד את הקוד ולהריץ אותו עצמאית.
האם השימוש בה עולה כסף?
הגישה לעמוד בהאגינג פייס פתוחה לכולם ללא עלות. אין דרישת תשלום או מנוי, אך כשההדגמה למטה זה ממילא לא נותן מענה מיידי.
האם אפשר להריץ את הקוד באופן מקומי?
כן, הקוד הציבורי זמין בעמוד ומבוסס על ספריות פתוחות ומאמר המחקר המקושר. תצטרכו מחשב עם כרטיס מסך חזק שמסוגל להריץ מודלים כמו ControlNet כדי לעבד את הווידאו בעצמכם.
איזה תוכן אפשר להעלות לממשק?
הממשק כולל לשוניות לקליטת סרטוני וידאו לעריכה, וכן תמונות או מפות עומק ומנחים עבור לשוניות הבקרה השונות. כרגע לא ניתן להעלות קבצים בפועל בגלל שגיאת הריצה של השרת.
איך משתמשים
נכנסים לדפדפן, בוחרים את הלשונית המתאימה למשימה, מקלידים פרומפט או מעלים קובץ וידאו לפי הצורך, ולוחצים על כפתור ההרצה בממשק. האפליקציה מוגדרת לרוץ על חומרת a10g-large, מעבד גרפי חזק שאמור לספק זמני עיבוד סבירים ביחס לחישובי וידאו, אך כרגע המצב המדווח שלה הוא שגיאת ריצה ולכן לא ניתן להפעיל אותה ישירות דרך הדפדפן.
הרישיון
הרישיון של היישום לא דווח בעמוד שלו. המשמעות היא שאין הרשאה ברורה ומפורשת לשימוש מסחרי בקוד או בתוצרים, וכל שימוש מעבר לבדיקה ומחקר אישי נמצא באי ודאות משפטית.