SpatialTrackerV2

מה זה

אתם מעלים קובץ וידאו או בוחרים מתוך רשימת הדוגמאות המובנות, שמציגות רובוטים, פעולות במטבח, ספורט וחפצים זזים. המערך כולל אפשרות לסמן נקודה ספציפית על גבי תמונה ולבחור בין מצב עיבוד אופליין לאונליין, לצד שליטה בפרמטרים של צפיפות נקודות, רזולוציה וקצב פריימים.

מתחת למכסה המנוע רץ שילוב כבד של מודלים. הוא טוען את VGGT4Track יחד עם משקלי SpatialTrackerV2 Front, Offline ו־Online, ומשתמש במודלים של SAM מבית פייסבוק וב־moge-vitl לצורך חילוץ עומק ומקטעים. התוצאה היא ויזואליזציה של נקודות במרחב שנשמרת ומקודדת מחדש להצגה בדפדפן.

מתאים ל

• מעקב תלת ממדי ברובוטיקה

  מעקב מדויק אחרי נקודות מפתח של זרוע רובוטית או חפצים שהיא אוחזת בהם מתוך וידאו רגיל.

• ניתוח תנועה בווידאו

  חילוץ מסלולים מרחביים של ספורטאים או כלי רכב מתוך צילום ממצלמה אחת.

• הבנת סצנות ממצלמת גוף

  מעקב אחר תנועות ידיים וכלים בסרטוני גוף ראשון כמו בישול או הרכבה.

איפה זה נופל

נכון לעכשיו אי אפשר להשתמש בכלי ישירות בדפדפן כי הוא תקוע במצב של שגיאת ריצה. מעבר לזה, המודל מסתמך על מספר רב של מודלים כבדים במקביל, כך שגם כשהוא עובד, סרטונים ארוכים מדי או ברזולוציה גבוהה עלולים להקריס את הזיכרון של המעבד הגרפי.

איך משתמשים

טוענים וידאו, מגדירים את הנקודות למעקב ומפעילים את החישוב. היישום מוגדר לרוץ על מעבד גרפי מדגם A10G במצב חומרה של זירו, כך שאם השרת קר לוקח לו זמן להידלק, ולאחר מכן יש המתנה של כמה עשרות שניות עד לעיבוד הווידאו בהתאם למספר הפריימים.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל מסחרי. לגבי הסרטונים שאתם מעלים, לא מצוינים תנאי שימוש נפרדים והם מעובדים בזיכרון השרת של היישום.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗