AnyV2V
רץ בדפדפןTIGER-Labmit2024-04-02
עריכת סרטונים קצרים באמצעות שינוי הפריים הראשון והחלת השינוי על שאר התנועה. מתאים למי שרוצה לבדוק שילוב של מודלי תמונה עם יצירת וידאו.
- —הורדות בחודש
- 74לייקים
מה זה
אתם מעלים סרטון גולמי, והמערך מבצע עיבוד מקדים שחותך אותו בדיוק לשתי שניות בקצב של 8 פריימים לשנייה, ברזולוציה של 512 על 512 פיקסלים. בשלב הבא עורכים רק את הפריים הראשון של הסרטון בעזרת הוראת טקסט דרך InstructPix2Pix, או שמעלים תמונה ערוכה שהכנתם בעצמכם בתוכנה חיצונית.
לאחר מכן מזינים הנחיית טקסט שמתארת את הסרטון כולו ומריצים את העיבוד. ברקע רצים צינורות של I2VGen-XL יחד עם היפוך DDIM, במטרה לשמור על התנועה המקורית תוך הלבשת המראה החדש של הפריים הראשון על פני שאר הפריימים.
מתאים ל
- שינוי סגנון דמות בווידאו
עריכת הפריים הראשון למראה מצויר או שונה והחלת הסגנון על התנועה כולה.
- בדיקת שילוב מודלים
החלפת מודל עריכת התמונה בפריים הראשון כדי לבחון איך הוא משפיע על I2VGen-XL.
- ניסויי עריכה מבוססי טקסט
שינוי פרטים בסרטון קצר של שתי שניות בעזרת הנחיות מילוליות בלבד.
איפה זה נופל
המגבלה המרכזית כרגע היא שהאפליקציה תקועה במצב שגיאה ולא פעילה. מעבר לכך, התהליך מוגבל לסרטונים של שתי שניות בלבד ובאיכות נמוכה של שמונה פריימים לשנייה, כך שהוא לא מתאים לעריכת וידאו מעשית אלא לבדיקת היתכנות מחקרית בלבד.
שאלות
נפוצות
האם האפליקציה פועלת כרגע בחינם?
הגישה לקישור היא בחינם ואינה דורשת תשלום. עם זאת, נכון לעכשיו ההדגמה נמצאת במצב של שגיאת תצורה ולכן אי אפשר להריץ אותה בדפדפן עד שהמפתחים יתקנו את ההגדרות.
האם אפשר להריץ את הכלי מקומית על המחשב?
כן, הקוד פתוח תחת רישיון MIT וזמין לשימוש חופשי. תצטרכו להוריד את הקבצים, להתקין את הספריות הנדרשות ולהחזיק מעבד גרפי חזק שמסוגל להריץ מודלים כמו I2VGen-XL.
כמה זמן לוקח לעבד סרטון?
העיבוד דורש שלושה שלבים נפרדים של חיתוך, עריכת תמונה ויצירת וידאו מלאה. על חומרת A10G שמוגדרת עבורו, תהליך כזה אמור לקחת בין חצי דקה למספר דקות, כתלות בעומס ובמספר הצעדים שנקבעו.
איך משתמשים
העבודה מחולקת לשלושה כפתורים עוקבים: חיתוך הווידאו, עריכת הפריים הראשון, והרצת העיבוד המלא. החומרה שהוקצתה להדגמה היא מאיץ A10G בתצורת Zero GPU, אך נכון לעכשיו העמוד מדווח על שגיאת תצורה ולא ניתן להריץ אותו ישירות בדפדפן בלי תיקון של הקוד או שכפול שלו.
הרישיון
הקוד מופץ תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה. זכויות התוכן שאתם מעלים תלויות בתנאי השימוש של פלטפורמת האחסון ושל המודלים השונים שנטענים ברקע.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש