video-object-remover

מה זה

מעלים סרטון ומקבלים תצוגה של הפריים הראשון. על הפריים הזה מסמנים עם מסכה את האובייקט שרוצים להעלים, ולוחצים על הפעלה. הפלט כולל שני סרטונים: אחד שמציג את המעקב והמקטע המבודד, והשני הוא הווידאו הסופי שבו השטח שהוסר הושלם מחדש.

מאחורי הקלעים הקוד משלב שני רכיבים שונים. החלק הראשון משתמש ב־SiamMask כדי לעקוב אחרי העצם המסומן לאורך כל הפריימים, והחלק השני מבוסס על FGT שמבצע את ההשלמה של הרקע החסר (video inpainting). החישוב נעשה בקצב קבוע של 24 פריימים לשנייה.

מתאים ל

• הסרת אובייקט מקליפ קצר

  סימון עצם בודד בפריים הראשון ומחיקתו האוטומטית לאורך כל הסרטון.

• מעקב וידאו מבוסס מסכה

  יצירת סרטון שמבודד את תנועת האובייקט הנבחר באמצעות SiamMask.

• בדיקת אלגוריתמי השלמה

  בחינת יכולות ההשלמה של FGT על קטעי וידאו בעלי תנועה פשוטה.

איפה זה נופל

הבעיה המרכזית כרגע היא שהיישום נמצא במצב של תקלת ריצה (RUNTIME_ERROR), מה שאומר שאי אפשר להשתמש בו ישירות בדפדפן בלי לתקן את הקוד או את התלויות. מעבר לכך, הקוד מניח קצב של 24 פריימים לשנייה ולא מציע שליטה בהגדרות הרזולוציה או דיוק המעקב.

איך משתמשים

טוענים וידאו לנגן, מסמנים את האזור שרוצים למחוק בעזרת כלי המסכה על התמונה הראשונה, ולוחצים על כפתור Run. המערכת מוגדרת לרוץ על מאיץ גרפי מסוג T4-small, כך שעיבוד של קטעים מעבר לכמה שניות בודדות צפוי לקחת זמן מה.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד, כולל התאמה לצרכים מסחריים. לגבי הסרטונים שמועלים, הרישיון לא מפרט תנאי פרטיות מיוחדים מעבר למדיניות האתר שמארח אותו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗