Video-Matting-Anything

מה זה

אתם מעלים קובץ וידאו, מקצרים אותו עד עשר שניות, ומגדירים שני תיאורים באנגלית. התיאור הראשון מסביר איזה אובייקט לחלץ, והשני קובע איזה רקע חדש ליצור. הפלט מחזיר שלושה סרטונים שונים: האובייקט עם הרקע החדש, גרסה עם מסך ירוק נקי, ומסיכת מאטינג בשחור לבן שמציגה את החיתוך המדויק.

מאחורי הקלעים הקוד משלב זיהוי מבוסס טקסט של Grounding DINO, מסיכות של Segment Anything, ומודל Stable Diffusion 1.5 שיוצר את הרקע החלופי. המערכת נעזרת גם במודלי שפה כמו BERT ו־RoBERTa כדי לפענח את ההנחיות שלכם. בממשק יש דוגמה מובנית של סרטון עם גברים ובקבוק, שממחישה איך הכלי אמור לזהות ולבודד את הפריטים לפי מילים.

מתאים ל

• החלפת רקע אוטומטית בווידאו

  מייצרים רקע חדש מסצנה כתובה במקום הרקע המקורי בסרטון קצר.

• יצירת מסך ירוק

  מבודדים דמות או חפץ מתוך קליפ ומפיקים סרטון עם רקע ירוק מוכן לעריכה.

• חילוץ מסיכות מאטינג

  מקבלים קובץ וידאו בשחור לבן שמייצג את המסיכה המדויקת של האובייקט.

איפה זה נופל

המגבלה הכי קריטית כרגע היא שהכלי פשוט לא עובד וקורס בגלל שגיאת ריצה כללית. מעבר לזה, המערכת מוגבלת לסרטונים קצרים של עד עשר שניות בלבד, כך שאי אפשר לעבד כאן חומרים באורך מלא. אפשרויות מתקדמות יותר של סימון ידני בנקודות או תיבות מופיעות בקוד כהערות כבויות, ולכן אתם תלויים לחלוטין ביכולת של המודל להבין את התיאור המילולי שלכם.

איך משתמשים

כדי להתחיל מעלים וידאו, גוררים את הסליידר לקביעת האורך בין שנייה אחת לעשר שניות, מקלידים את שני התיאורים ולוחצים על כפתור ההרצה. מתחת למכסה המנוע מוגדר מאיץ גרפי L4 בודד, כך שעיבוד של כמה שניות וידאו לא אמור לקחת זמן ממושך. הבעיה המרכזית כרגע היא שהאפליקציה במצב שגיאת ריצה, ולכן אי אפשר להריץ אותה ישירות בדפדפן עד שיוצר הכלי יתקן אותה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד כולל שינויים והפצה. עם זאת, הקוד טוען משקלים של מודלים חיצוניים כמו Stable Diffusion 1.5, ולכן חשוב לבדוק את תנאי השימוש הספציפיים שלהם לגבי תוכן שאתם מייצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗