paligemma-tracking

מה זה

מזינים קובץ וידאו ומקלידים בתיבת הטקסט תוויות מבוקשות שמופרדות בנקודה פסיק. בצד השני מקבלים סרטון חדש שבו העצמים מסומנים ועוקבים אחריהם לאורך התנועה. הדוגמה המובנית מציגה קובץ של חתולים עם התוויות ציפור וחתול, כך שאפשר לראות מיד איך מופרדים כמה מושגים באותו רצף תמונות.

מאחורי הקלעים רץ המודל google/paligemma-3b-mix-448, מודל ראייה ושפה מבית גוגל, יחד עם חבילת supervision לעיבוד המעקב והציור על גבי הווידאו. הקוד משתמש גם ברכיב vae-oid.npz כדי לטפל בחלק מפעולות התמונה. זה שילוב שמנסה לקחת מודל שפה חזותי ולתרגם את ההבנה הטקסטואלית שלו לסימון מטרות נע בתוך הפריימים.

מתאים ל

• מעקב עצמים פתוח בווידאו

  זיהוי ומעקב אחרי פריטים לפי מילות מפתח חופשיות באנגלית בלי לאמן מודל מראש.

• בדיקת יכולות PaliGemma

  בחינה מהירה של דיוק המודל על סרטונים אמיתיים ישירות מתוך הדפדפן.

• השוואת תוויות מרובות

  הפרדה בין מספר עצמים בו זמנית על ידי הזנת תוויות שמופרדות בנקודה פסיק.

איפה זה נופל

ההדגמה מיועדת לקטעים קצרים, וסרטונים ארוכים או כבדים ייקחו המון זמן או ייכשלו במגבלות הזיכרון של השרת. המודל עובד באנגלית, כך שאין טעם להזין תוויות בעברית. בנוסף, מעקב שמבוסס על מודל רב תכליתי פחות מדויק ועקבי לאורך זמן ממערכות מעקב ייעודיות, בייחוד כשיש הסתרות של עצמים.

איך משתמשים

לוחצים על כפתור השליחה אחרי שמעלים את הווידאו ומגדירים את התוויות. הממשק כולל מד התקדמות מובנה שמבוסס על tqdm, כך שרואים בזמן אמת את קצב העבודה. הכל רץ על מאיץ מסוג zero-a10g, מה שנותן עיבוד סביר לווידאו קצר, אבל ניתוח פריים אחר פריים עם מודל כזה לוקח זמן. אין צורך בהרשמה או התחברות כדי להתחיל.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינויים בקוד. הסרטונים שתעלו מעובדים בשרת של Hugging Face בהתאם למדיניות האתר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗