SAM2-Video-Predictor

מה זה

מעלים קובץ וידאו בפורמט MP4 ומקבלים תצוגה של הפריים הראשון. על גבי הפריים הזה מסמנים נקודות בעזרת העכבר, כאשר אפשר לבחור אם הנקודה כוללת את האובייקט או מוציאה חלקים לא רצויים ממנו. בלחיצה על יצירת המסכה המערכת מציגה את התוצאה הראשונית, ומשם אפשר להחיל את המעקב על שאר הסרטון.

מאחורי הקלעים רץ הקוד של SAM 2 מבית מטא לחיזוי וידאו, בעזרת ספריות כמו OpenCV ו־MoviePy לטיפול בפריימים. הממשק נותן לבחור בין ארבעה גדלים של המודל, מגרסת tiny הקלה ועד גרסת large הכבדה. בסיום העיבוד מקבלים גלריית תמונות לדגימת התוצאה או סרטון MP4 סופי שמכיל את מסכת הווידאו.

מתאים ל

• בידוד אובייקט נע בווידאו

  סימון דמות או עצם בפריים הראשון כדי לייצר מסכת מעקב רציפה לאורך כל הסרטון.

• בדיקת גדלים של SAM 2

  השוואה מעשית בין משקלי המודל מגרסת tiny ועד large על אותו קטע וידאו.

• הפקת שכבת מסכה לעריכה

  ייצוא קובץ וידאו בשחור לבן של התנועה לצורך שימוש בתוכנות עריכה חיצוניות.

איפה זה נופל

הכלי מציג ממשק מינימלי בלי אפשרות לערוך מסכות בצורה חופשית מלבד הוספת נקודות בודדות. אין כאן תמיכה בעריכת וידאו מלאה או בייצוא שכבות שקופות ישירות, אלא הפקת מסכה בלבד. בנוסף, הממשק דורש מעבר ידני בין שלבי הבדיקה לרינדור, וסרטונים ארוכים עלולים לקחת זמן רב או להיתקע עקב מגבלות המעבד הגרפי הבסיסי.

איך משתמשים

מעלים את הווידאו, לוחצים על הפריים כדי להגדיר נקודות חיוביות או שליליות, בוחרים גודל מודל ולוחצים על כפתור קבלת המסכה. לאחר מכן בוחרים אם להריץ בדיקה מדגמית או לייצר רינדור מלא, ומפעילים את הריצה. האפליקציה יושבת כרגע במצב שינה, כך שהפתיחה הראשונה דורשת המתנה של כמה דקות לעליית השרת. כשהיא רצה, העיבוד מתבצע על גבי מעבד גרפי T4-medium, ולכן דגמים כבדים יותר כמו large ידרשו יותר זמן עיבוד בכל פריים.

הרישיון

הרישיון של המרחב לא דווח על ידי המפתח. המשמעות היא שאין הגדרה ברורה לגבי שימוש מסחרי בקוד של הממשק, מעבר לתנאי הרישיון המקוריים של מודל SAM 2 של מטא. הקבצים והווידאו מועלים לתשתית של Hugging Face וזמינים לעיבוד בשרת.

הרישיון המלא ב־Hugging Face ↗