facebook/EdgeTAM

מה זה

אתם מעלים קובץ וידאו בפורמט MP4 או בוחרים מתוך רשימת דוגמאות מובנית, ואז מסמנים נקודות על הפריים שמופיע. הכלי מפיק תמונת מסכה של האובייקט וסרטון וידאו מעובד שמציג את המעקב לאורך כל הפריימים.

מאחורי הקלעים הקוד משתמש במנגנון של SAM 2 למעקב וידאו, ומציע תמיכה בגרסאות שונות של המודל, מגרסאות זעירות כמו tiny ועד גרסאות כבדות כמו large, כולל דגמי sam2.1. הממשק מכיל עשרות סרטוני הדגמה מוכנים מראש שכוללים כלבים, סקייטבורד, תנועת כוסות ומכוניות מרוץ.

מתאים ל

• מעקב וידאו פשוט

  סימון אובייקט בודד בסרטון כדי לייצר שכבת מסכה מדויקת לאורך זמן.

• בדיקת יכולות SAM 2

  השוואה מהירה של דיוק המעקב על מגוון סרטונים מובנים בלי להתקין סביבה מקומית.

• חילוץ מסכות מפריים ראשון

  הפקת מסכת רפרנס נקודתית על בסיס לחיצה על תמונת הפתיחה של הווידאו.

איפה זה נופל

ההדגמה מיועדת לפריים יחיד כנקודת מוצא ולא מתאימה לעריכת וידאו מורכבת או מרובת שכבות. למרות שהכותרת מזכירה ריצה על מכשירי קצה, כאן הכל רץ על שרת מרוחק עם מאיץ גרפי חזק, כך שהביצועים בדפדפן לא משקפים ביצועים אמיתיים על טלפון או מחשב חלש.

איך משתמשים

טוענים סרטון או בוחרים דוגמה, בוחרים סוג נקודה, מקליקים על התמונה כדי להגדיר את האובייקט, ולוחצים על כפתור Track. יש גם אפשרות לאפס או למחוק נקודות שגויות. הריצה מתבצעת על מעבד גרפי מסוג A10G דרך ZeroGPU, כך שהעיבוד מהיר אבל עשוי לדרוש המתנה קצרה להקצאת המשאב.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0 שמאפשר שימוש מסחרי, שינוי והפצה תחת תנאי הרישיון. הקבצים והסרטונים שמעלים מעובדים ישירות בשרת ההדגמה בספריות זמניות לפי הקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗