SAM3-Demo

מה זה

מעלים תמונה או קובץ וידאו בפורמט MP4, ומכוונים את הזיהוי בעזרת תיאור טקסטואלי חופשי באנגלית או בלחיצות ישירות על גבי התמונה. הפלט מתקבל כתמונה מסומנת עם מסכות חיתוך, או כקובץ וידאו מעובד שעוקב אחרי העצם הנבחר לאורך הפריימים.

מאחורי הממשק רצים מודלים ממשפחת facebook/sam3, כולל מודל תמונה, מודל מעקב ייעודי ומודל וידאו שרץ בדיוק של bfloat16. המערכת כוללת דוגמאות מובנות של תמונת שחקן עם הפקודה player in white ודוגמת וידאו עם מעקב אחר players, מה שמראה שהכלי נבדק בעיקר על זיהוי דמויות ואובייקטים בתנועה.

מתאים ל

• בידוד אובייקטים מתמונות

  חילוץ מסכות סגמנטציה מדויקות של חפצים או אנשים מתמונה לפי מילת תיאור בלבד.

• מעקב אחר תנועה בווידאו

  סימון ועקיבה רציפה אחרי דמויות או כלי רכב בקטעי וידאו קצרים עד 500 פריימים.

• סגמנטציה מהירה בלחיצה

  סימון שטחים ואובייקטים מוגדרים בתמונה באמצעות לחיצות עכבר ישירות בלי צורך בניסוח טקסט.

איפה זה נופל

ההדגמה מוגבלת מאוד בווידאו: חיתוך מעל 500 פריימים חסום בממשק, ויש ניתוק כפוי לאחר שלוש דקות לכל היותר. ההנחיות הטקסטואליות דורשות אנגלית, והקוד מראה שהדוגמאות אינן נשמרות במטמון. בנוסף, חומרת שיתוף משאבים עלולה להחזיר שגיאות טעינה של המודל אם הכרטיס הגרפי לא מתפנה בזמן.

איך משתמשים

בוחרים את אחת משלוש הלשוניות: חיתוך תמונה בטקסט, חיתוך וידאו, או חיתוך תמונה בלחיצות. בתמונות מזינים הנחיה או לוחצים על האובייקט, בוחרים סף ביטחון ולוחצים על כפתור העיבוד. בווידאו אפשר להגביל מראש בין 10 ל־500 פריימים ולהגדיר מגבלת זמן של 60 עד 180 שניות כדי למנוע קריסה. ההדגמה רצה על חומרת zero-a10g שמוקצית לפי דרישה, ולכן עיבוד וידאו עשוי לקחת זמן או להמתין להקצאת המשאבים.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. המידע והקבצים שאתם מעלים מועברים ומעובדים בשרתי Hugging Face לצורך הפעלת המודל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗