RAVE
רץ בדפדפןozgurkaramit2023-12-17
עריכת סרטוני וידאו קיימים באמצעות שילוב של מודלי תמונה והנחיית טקסט. הכלי מיועד למי שרוצה לשנות סגנון של וידאו בעזרת מודלי דיפוזיה בלי לאמן מודל מאפס.
- —הורדות בחודש
- 85לייקים
מה זה
אתם מעלים קובץ וידאו בפורמט MP4, מגדירים פרומפט חיובי ושלילי, ובוחרים מודל בסיס וסוג קדם-עיבוד. המערכת מחזירה שני סרטוני תוצאה, את הווידאו הערוך בסגנון החדש ואת וידאו הבקרה שמציג את המאפיינים שחולצו מהמקור.
מאחורי הקלעים הקוד מריץ צינורות עבודה של Stable Diffusion 1.5 בשילוב ControlNet, לצד רכיבי Annotators, IP-Adapter ו־CLIP. בנוסף הקוד מכיל תמיכה בהורדה ישירה של מודלים מותאמים מ־Civitai לפי בחירה בתפריט, ומסדר את הפריימים ברשתות כדי לשמור על עקביות לאורך הווידאו.
מתאים ל
- החלפת סגנון לווידאו
שינוי מראה של סרטון קיים בעזרת פרומפט טקסטואלי ומודל דיפוזיה תואם.
- שמירה על תנועה מקורית
שימוש ב־ControlNet כדי להעתיק קווי מתאר ותנוחה מסרטון קיים לתוצאה חדשה.
- בדיקת מודלים מותאמים
הרצת סרטונים על גבי משקלים ייעודיים שנמשכים ישירות ממאגר Civitai.
איפה זה נופל
הבעיה המרכזית היא שהחלל תקוע במצב CONFIG_ERROR ולא עולה לריצה. גם אם השגיאה תתוקן, עיבוד וידאו מבוסס רשתות ודיפוזיה דורש זיכרון רב וזמן חישוב משמעותי, כך שסרטונים ארוכים עלולים להיכשל או להיחתך.
הקוד גם מסתמך על משיכת מודלים חיצוניים מ־Civitai בזמן ריצה באמצעות פקודות מערכת, תהליך שעלול להיתקל בבעיות רשת או בקבצים חסרים שלא נבדקו מראש.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה בחינם עכשיו?
השימוש בדף עצמו אינו דורש תשלום, אך נכון לעכשיו הוא כלל אינו זמין לעבודה. השרת נמצא בסטטוס של שגיאת קונפיגורציה ולכן הממשק אינו מגיב לפקודות הרצה. כדי להשתמש בו צריך לתקן את ההגדרות או להוריד את הקוד.
האם אפשר להריץ את הכלי הזה במחשב המקומי?
כן, הקוד מבוסס על פייתון, Gradio וספריות Diffusers סטנדרטיות וזמין תחת רישיון קוד פתוח. כדי להריץ אותו עצמאית תצטרכו כרטיס מסך חזק עם זיכרון ייעודי בנפח משמעותי, מכיוון שהוא טוען מודלים כבדים כמו Stable Diffusion ו־ControlNet. בנוסף יש להתקין את כל התלויות המופיעות בקבצי הפרויקט.
מה קורה עם קבצי הווידאו שמעלים לממשק?
הקבצים נשלחים לעיבוד מקומי בשרת שעליו רץ ה־Space ונשמרים בתיקיות זמניות לצורך היפוך וחישוב הפריימים. כיוון שהשרת מוגדר על חומרה שיתופית, המידע אינו מובטח כפרטי לחלוטין. לא מומלץ להעלות חומרים רגישים או אישיים לסביבה ציבורית כזו.
כמה זמן לוקח לעבד סרטון שלם?
עיבוד וידאו באמצעות דיפוזיה וקונטרול-נט הוא תהליך כבד שלוקח בדרך כלל מספר דקות לכל כמה שניות של סרטון. החומרה שהוגדרה לשירות היא A10G שמספקת ביצועים סבירים, אך חלוקת הווידאו לרשתות מרובות והורדת מודלים מאיטות את הקצב. כל שינוי בהגדרות הרשת והדגימה ישפיע ישירות על זמן ההמתנה.
איך משתמשים
בממשק מעלים את הווידאו, בוחרים מודל מתוך הרשימה, מתאימים פרמטרים של ControlNet וגודל רשת בלשונית ההגדרות, ולוחצים על Run All. הממשק כולל תור מובנה ודוגמאות מוכנות מראש לצפייה.
ההדגמה מוגדרת על חומרת Zero-A10G, אבל נכון לעכשיו העמוד מסומן במצב של שגיאת תצורה. המשמעות היא שלא ניתן להריץ את העיבוד בפועל דרך הדפדפן כרגע.
הרישיון
הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי בקוד. לגבי התוכן שמעלים והתוצרים, הזכויות תלויות בהגבלות השימוש של המודלים המופעלים ברקע ובתנאי האחסון של הפלטפורמה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש