EdgeTAM

מה זה

אתם מעלים סרטון בפורמט MP4 או בוחרים מתוך רשימת דוגמאות מובנות. הממשק מציג את הפריים הראשון של הווידאו, ועליו מסמנים בלחיצות עכבר נקודות חיוביות או שליליות שמגדירות את האובייקט שרוצים לבודד. לאחר מכן מקבלים תמונת מסיכה מקדימה, ובלחיצה נוספת נוצר קובץ וידאו סופי שבו האובייקט המסומן מבודד ונשמר במעקב לאורך כל הפריימים.

בקוד מאחורי הקלעים נעשה שימוש בספריית SAM 2 של מטא ובפונקציות build_sam2_video_predictor לצד חבילות כמו OpenCV לעיבוד פריימים. למרות שהכותרת מצהירה על EdgeTAM, רשימת המודלים הפעילים של היישום כוללת למעשה גרסאות שונות של SAM 2 ו־SAM 2.1 בגדלים שבין Tiny לבין Large. הדוגמאות המוכנות כוללות סרטונים קצרים ומגוונים כמו כלבים, שחקני פינג פונג, רקדנים, כוסות וזרוע רובוטית.

מתאים ל

• מעקב אחר עצמים בתנועה

  סימון אובייקט בפריים הראשון כדי לקבל וידאו שבו האובייקט מבודד לאורך כל הסרטון.

• יצירת מסכות לפריים

  חילוץ מסכת סגמנטציה מדויקת עבור עצם ספציפי בתוך קטע וידאו.

• בדיקת ביצועי מודלי חיתוך

  השוואת דיוק הסגמנטציה של SAM 2 על גבי מגוון דוגמאות מובנות מראש.

איפה זה נופל

ההדגמה נשענת על מודלי SAM 2 המקוריים של מטא, ולא בהכרח מייצגת הרצה אמיתית של EdgeTAM על מכשירי קצה חלשים, שכן היא פועלת בפועל על מאיץ גרפי חזק בענן. הקוד מפרק את הווידאו ומייצר סרטון חדש בעזרת רצף תמונות, ולכן קבצים ארוכים או כבדים עלולים להיתקל באיטיות או במגבלות זיכרון של הדפדפן והסביבה. כדאי לבדוק קודם סרטונים קצרים וחתוכים היטב.

איך משתמשים

טוענים וידאו, מקליקים על האובייקט בפריים הראשון כדי להניח נקודות, ולוחצים על Track כדי להריץ את העיבוד על כל שאר הפריימים. אין צורך בהרשמה או התחברות לחשבון כדי להשתמש בממשק. השרת רץ על חומרת Zero A10G, מה שאומר שכרטיס המסך מוקצה לפי דרישה, כך שייתכן זמן המתנה קצר להתעוררות החומרה בתחילת הפעולה, אך עיבוד המעקב עצמו על קטעים קצרים נמשך בדרך כלל שניות בודדות.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד ושינוי שלו. הממשק אינו מפרט תנאים מיוחדים לגבי שמירת התוכן שמועלה אליו, אך הקבצים נשלחים לעיבוד על גבי שרתי Spaces של Hugging Face.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗