SAM3-video-segmentation

מה זה

אתם מעלים קובץ וידאו או מקליטים מהמצלמה, בוחרים פריים מסוים, ומגדירים מה לבודד. אפשר להקליד מילים פשוטות כמו מכונית או אדם, ואפשר לעבור ללשונית הנקודות וללחוץ ישירות על האובייקט בתמונה. בתמורה מקבלים מסיכות צבעוניות שעוטפות את העצמים שנבחרו, ואפשר לעקוב אחריהן לכל אורך הסרטון.

מאחורי הקלעים רץ המודל facebook/sam3 באמצעות שתי תצורות שונות של transformers, אחת לעיבוד לפי טקסט והשנייה למעקב נקודתי. המערכת מחשבת את המסיכה לפריים הבודד, מפיצה אותה קדימה ואחורה על שאר הפריימים, ומאפשרת לייצא קובץ MP4 מרונדר כדי לצפות בתוצאה חלקה.

הממשק כולל דוגמאות מובנות של סרטונים שמוצגות בתחתית הלשונית. הן מאפשרות להריץ בדיקה מהירה על קטעים מוכנים מראש ולראות איך החיתוך עובד לפני שמעלים קבצים פרטיים.

מתאים ל

• בידוד עצמים לפי שם

  זיהוי וסימון אוטומטי של קטגוריות עצמים כמו רכבים או הולכי רגל לכל אורך הסרטון באמצעות תיאור טקסטואלי בלבד.

• מעקב ממוקד בנקודה

  בחירת פריט מסוים בפריים על ידי קליק בעכבר ומעקב רציף אחריו גם כשהוא זז בתוך הווידאו.

• בדיקת ביצועי המודל

  בחינה ישירה של ארכיטקטורת SAM3 על גבי סרטוני הדגמה מוכנים מראש בלי צורך להגדיר סביבת פיתוח מקומית.

איפה זה נופל

במצב טקסט אי אפשר לבודד אובייקט ספציפי מתוך קבוצה. אם תכתבו פינגווין, המודל יסמן את כל הפינגווינים בפריים ולא יבין הנחיה כמו הפינגווין משמאל. אם רוצים עצם בודד מתוך רבים, חייבים לעבור למצב נקודות.

הדגמה בדפדפן מוגבלת בסרטונים ארוכים או כבדים. סרטון עם מאות פריימים ידרוש זמן הפצה ארוך ועלול לזרוק שגיאות זיכרון ברינדור. בנוסף, חיתוך טקסט מורכב עלול לפספס אם התיאור כולל שמות תואר חופשיים מדי.

איך משתמשים

טוענים וידאו, מחכים שהפריימים ייקראו, וזזים עם הסליידר לפריים הרצוי. אם בוחרים בטקסט, מקלידים תיאור ולוחצים על החלת הפרומפט, ואם בוחרים בנקודות, לוחצים על האובייקט בתצוגה המקדימה. אחרי שהמסיכה מופיעה, לוחצים על הפצת המסיכות לאורך הווידאו, ולבסוף על כפתור הרינדור ל־MP4 כדי לקבל סרטון סופי.

הקוד רץ על חומרת zero-a10g של Hugging Face. זה אומר שיש מאיץ גרפי חזק ברקע, אבל במצב אפס הוא מתעורר לפי דרישה, כך שפעולה ראשונה עשויה להמתין מעט לעליית המשאבים.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, רישיון קוד פתוח מתירני שמאפשר שימוש חופשי כולל שימוש מסחרי בקוד. לגבי המודל עצמו והסרטונים שאתם מעלים, התוכן מעובד על גבי השרת שמארח את ההדגמה, ולכן לא מומלץ להעלות חומרים רגישים או סודיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗