VOID

מה זה

מעלים כאן סרטון מקור, סרטון נוסף שמכיל מסכה מסוג quadmask, וטקסט שמתאר איך הסצנה צריכה להיראות אחרי ההסרה. המערכת מחזירה סרטון ערוך שבו החלק המבוקש נמחק והרקע הושלם מחדש. בממשק יש דוגמאות מובנות שמציגות את אופן העבודה, אך הן לא נטענות מראש מהזיכרון.

מאחורי הקלעים רץ שילוב של CogVideoX Fun בגרסת inpainting של חמישה מיליארד פרמטרים יחד עם משקולות של VOID. התהליך נעזר ברכיבי עיבוד תמונה וטקסט נוספים, כולל מודלי CLIP ורכיבי SDXL, כדי לחבר בין הנחיית הטקסט למילוי הווידאו.

מתאים ל

• מחיקת חפצים מסרטונים

  הסרת אובייקטים לא רצויים מסצנות מצולמות בעזרת מסכת וידאו מוכנה ותיאור הרקע החלופי.

• ביטול אינטראקציות תנועה

  העלמת אדם שמחזיק או מזיז חפץ, והשלמת הרקע והחפץ כאילו הפעולה לא התרחשה מעולם.

• השלמת רקע בווידאו

  מילוי שטחים חסרים בפריימים של וידאו באמצעות הנחיית טקסט המגדירה את מראה הסביבה.

איפה זה נופל

הכלי מחייב להזין סרטון מסכה מוכן מסוג quadmask לצד הסרטון הרגיל, והוא לא מייצר את המסכה הזו בעצמו. אם אין לכם כלי חיצוני שמכין את המסכה, אי אפשר להריץ את העיבוד. בנוסף, חובת הזנת הטקסט דורשת לתאר במדויק את המילוי הרצוי, וכל סטייה עלולה לייצר מריחות רקע שאינן תואמות את התנועה המקורית.

איך משתמשים

טוענים את שני קובצי הווידאו ומקלידים את התיאור בתיבת הטקסט. בהגדרות המתקדמות אפשר לקבוע את כמות צעדי הריצה בין 10 ל־50, את עוצמת ההנחיה, ואת מספר הסיד, ואז לוחצים על הכפתור הראשי. ההרצה משתמשת במעבד גרפי A10G שמוקצה לפי דרישה, כך שזמן העיבוד תלוי בעומס ובזמינות החומרה באותו רגע.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. הקבצים שאתם מעלים והסרטונים שנוצרים מעובדים על גבי התשתית שמארחת את היישום.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗