I2VGen-XL
רץ בדפדפןmodelscopeרישיון לא דווח2023-08-24
הופך תמונת סטילס יחידה לסרטון וידאו קצר בעזרת הנחיית טקסט. הכלי מיועד ליוצרים שמחפשים להפיח תנועה באיורים או צילומים בלי לערוך ידנית.
- —הורדות בחודש
- 104לייקים
מה זה
אתם מעלים תמונה בודדת וכותבים תיאור טקסטואלי באנגלית שמסביר מה צריך לקרות בה. הממשק ממליץ להשתמש ברזולוציה של 1280 על 720 כדי לקבל תוצאה טובה. לאחר הלחיצה, המערכת מייצרת קובץ וידאו שמוצג ישירות בנגן לצד הקלט.
מאחורי הקלעים רץ הצינור damo/i2vgen-xl מבית ModelScope בגרסה v1.1.4, שמטפל במשימות של תמונה לווידאו על גבי כרטיס גרפי. בדף מוטמעות גם דוגמאות מוכנות מראש שנשמרו מראש בזיכרון, עם חמש דוגמאות בכל עמוד, כדי להמחיש את היכולות בלי להמתין לעיבוד חדש.
מתאים ל
- הנפשת איור לרוחב
מעלים תמונה ברזולוציית 1280 על 720, מוסיפים תיאור קצר באנגלית ומייצרים סרטון הדגמה קצר.
- בדיקת דוגמאות מוכנות
צופים בדוגמאות השמורות מראש בממשק כדי לבחון את איכות התנועה של המודל לפני הרצה עצמאית.
- בחינת צינור המודל
בודקים את אופן הפעלת הצינור damo/i2vgen-xl מתוך קוד פייתון כבסיס לפיתוח פנימי.
איפה זה נופל
הבעיה המרכזית כרגע היא סטטוס ההרצה שמדווח על תקלת ריצה, כך שהממשק פשוט לא עובד להפקות חדשות. מעבר לזה, חובה להזין את תיאור הטקסט באנגלית בלבד ועברית לא נתמכת בהנחיות. הממשק מתריע מראש שאם הווידאו שנוצר אינו מתנגן יש לשדרג את הדפדפן או לעבור לכרום, ואין שום אפשרות לשלוט במספר הפריימים, בקצב או באורך הסרטון מעבר להגדרות ברירת המחדל.
שאלות
נפוצות
האם הממשק פועל כרגע בדפדפן?
לא, הדף נמצא במצב של תקלת ריצה ולכן אי אפשר להעלות קבצים ולייצר סרטונים חדשים. תצטרכו להמתין שהמפתח יתקן את הקוד או להריץ את המודל באופן עצמאי. הדוגמאות השמורות עשויות עדיין להופיע אם הן נטענו מראש.
האם אפשר לכתוב הנחיות בעברית?
ההנחיות בממשק דורשות במפורש תיאור באנגלית בלבד עבור יצירת הווידאו. המודל שמאחורי הקלעים אינו מוגדר לקבל טקסט בעברית. שימוש בשפה אחרת עלול לגרום לתוצאות פגומות או לשגיאות בעיבוד.
האם מותר להשתמש בסרטונים לצרכים מסחריים?
הרישיון של הפרויקט לא דווח במאגר, ולכן אין היתר רשמי כזה. בלי תנאי שימוש מוגדרים לא כדאי להסתמך על התוצרים בפרויקטים מסחריים. מומלץ לבדוק ישירות את תנאי המודל המקורי damo/i2vgen-xl.
האם ניתן להריץ את הכלי על מחשב אישי?
הקוד מבוסס על סביבת דוקר ומשתמש בצינור של ModelScope שרץ על מעבד גרפי של אנבידיה. בפועל הוא מוגדר עבור חומרת a100-large, כך שיידרש כרטיס מסך חזק מאוד עם זיכרון ייעודי גבוה כדי להריץ אותו מקומית. מחשב נייד או כרטיס ביתי פשוט לא יספיקו לדרישות האלו.
איך משתמשים
לוחצים על כפתור העלאת התמונה, בוחרים קובץ אחד, ומקלידים את התיאור באנגלית בתיבת הטקסט. לאחר מכן לוחצים על הכפתור להפקת הווידאו וממתינים. ההרצה מוגדרת על חומרת a100-large חזקה עם כרטיס גרפי ייעודי, אבל בפועל מופיעה כרגע שגיאת ריצה כללית, כך שאי אפשר לייצר סרטונים חדשים ישירות דרך הדפדפן כרגע.
הרישיון
הרישיון של המרחב לא דווח כלל במאגר. במצב כזה אין אישור מפורש לשימוש מסחרי בתוצרים, ולא ידוע מה הזכויות המשפטיות על התמונות שאתם מעלים או על הווידאו שמופק.