Track-Anything

מה זה

מזינים קובץ וידאו או בוחרים מתוך דוגמאות מוכנות מראש כמו test-sample8.mp4 ו־test-sample4.mp4. הממשק מציג פריים מתוך הסרטון, מאפשר לסמן נקודות על גבי העצם שרוצים לבודד, ומחזיר סרטון מעובד עם מסיכה צבעונית שעוקבת אחרי האובייקט, או סרטון שבו האובייקט נמחק לחלוטין.

מאחורי הקלעים פועל שילוב של שלושה מודלים שונים. Segment Anything של מטא אחראי על הזיהוי הראשוני של העצם מתוך הלחיצות שלכם, מודל XMem מנהל את הזיכרון וממשיך לעקוב אחריו גם כשיש שינויי זוויות או מעברי שוטים, ומודל E2FGVI מבצע את פעולת ה־inpaint שמשלימה את הרקע אם בחרתם להסיר את העצם.

מתאים ל

• תיוג סרטונים לאימון

  חילוץ מסיכות מדויקות של עצמים זזים לאורך סרטון שלם לצורך בניית מאגרי מידע למודלים.

• מחיקת עצמים מווידאו

  סימון אלמנט מפריע בסצנה והסרתו האוטומטית מהשוט באמצעות שילוב מודל ההשלמה.

• מעקב אחרי עצמים בעריכה

  בידוד תנועה של אדם או חפץ בסרטון לצורך החלת אפקטים ממוקדים או תיקוני צבע.

איפה זה נופל

ההדגמה הנוכחית אינה פעילה, כך שאי אפשר לבדוק עליה שום דבר ישירות בדפדפן. מעבר לכך, מודל המעקב מתקשה כשעצמים מוסתרים במלואם לזמן ממושך או כשיש תנועות מצלמה חדות מאוד, ומחייב התערבות ידנית ותיקון של נקודות הבחירה. פעולת מחיקת העצמים לא מתאימה לסרטונים ארוכים ברזולוציה גבוהה דרך הרשת, וסליידר ברירת המחדל מקטין מראש את גודל הווידאו לשישים אחוז כדי להחזיק מעמד.

איך משתמשים

טוענים את הסרטון ולוחצים על Get video info כדי לחלץ את הפריימים. לאחר מכן לוחצים על הפריים כדי להגדיר נקודות למסיכה בעזרת SAM, בוחרים פריים התחלה ופריים סיום בסליידרים, ומפעילים את כפתור ה־Tracking או ה־Inpaint. במצב הנוכחי המרחב נמצא בשגיאת קריסה, כך שלא ניתן להריץ אותו כלל בדפדפן. בנוסף, הוא מוגדר על מעבד בסיסי בלבד ללא כרטיס מסך, תצורה שאינה מסוגלת לעבד מודלים כבדים כאלה בקצב סביר, והמפתחים עצמם מציינים בהערות שעבור פעולות כמו מחיקת עצמים חובה לשכפל את הקוד ולהריץ אותו מקומית על כרטיס מסך עם זיכרון גרפי גבוה.

הרישיון

הפרויקט מופץ תחת רישיון MIT, שמאפשר שימוש חופשי לחלוטין, שינוי של הקוד ושימוש מסחרי ללא תשלום. לגבי הסרטונים שמועלים, הם מעובדים על גבי התשתית של האתר, ולכן לא מומלץ להעלות חומרים מסווגים או פרטיים לסביבה ציבורית כזו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗