owl-tracking

מה זה

מעלים קובץ וידאו ומקלידים שמות של עצמים שרוצים לאתר, מופרדים בפסיקים. בצד השני מקבלים חזרה את הווידאו כשהעצמים מסומנים ומעוצבים עם תיבות מעקב לאורך הפריימים. בדוגמה המובנית בממשק אפשר לראות סרטון של חתולים עם התוויות dog ו־cat.

מאחורי הקלעים רץ המודל google/owlv2-base-patch16-ensemble, שהוא מודל זיהוי עצמים בגישת zero-shot. כדי להפוך את הזיהוי הבודד של התמונות למעקב רציף על גבי וידאו, הקוד משתמש בספריית supervision שעושה את שיוך התיבות בין פריים לפריים.

מתאים ל

• מעקב מותאם אישית בווידאו

  איתור עצמים ספציפיים בסרטון באמצעות תיאור טקסטואלי חופשי, ללא צורך באימון מודל ייעודי.

• בדיקת יכולות OWLv2

  בחינה מעשית של ביצועי המודל על קטעי וידאו אמיתיים לפני הטמעה שלו בפרויקט פיתוח.

• תיוג ויזואלי מהיר

  סימון אוטומטי של אובייקטים מוכרים כמו חתולים או מכוניות כדי לבדוק דיוק זיהוי בתנועה.

איפה זה נופל

זה לא כלי עריכה מלא ואין פה שליטה בספי זיהוי, הגדרות מעקב מתקדמות או טיפול באובייקטים שנעלמים וחוזרים. בנוסף, המודל הבסיסי הוא מודל זיהוי תמונות ולא מודל וידאו טבעי, כך שתנועות מהירות או שינויי זווית חדים עלולים לשבור את רצף המעקב. כדאי לבדוק קודם קטעים קצרים לפני שמנסים קבצים ארוכים.

איך משתמשים

גוררים וידאו למשבצת הקלט, כותבים תוויות בתיבת הטקסט ולוחצים על submit. המערכת מציגה מד התקדמות בזמן שהיא מעבדת את הפריימים בלולאה. העיבוד רץ על חומרת zero-a10g, מה שנותן כוח של כרטיס גרפי A10G בזמן הריצה וחוסך המתנה ארוכה מדי, אבל סרטונים כבדים או ארוכים ייקחו זמן כי כל פריים עובר במודל.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמה של הקוד. המודל של גוגל נטען ישירות מהמאגר, וסרטונים שאתם מעלים מעובדים בסביבת הריצה של המרחב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗