junma/MedSAM2

מה זה

מעלים סרטון בפורמט mp4, mov או avi, בוחרים גודל מודל מתוך ארבע אפשרויות, ומסמנים את האזור שרוצים לעקוב אחריו. הסימון נעשה בעזרת משיכת מכחול או לחיצה על נקודות בפריים מסוים. בסיום התהליך מופק סרטון שמציג את המעקב הוויזואלי, לצד קובץ וידאו להורדה וקובץ של המסכות שנוצרו.

מאחורי הקלעים הקוד משתמש בספריית sam2 הרשמית, כולל רכיבי המעקב בווידאו והחיזוי לתמונות בודדות. הממשק תומך במודלים בגדלים שנעים בין tiny לבין large, ומשתמש בכלים כמו ffmpeg וספריות עיבוד תמונה כדי לחלץ את הפריימים ולבנות את התוצאה מחדש. יש בלשוניות גם דוגמאות וידאו מוכנות מראש לבדיקה מהירה של היכולות.

מתאים ל

• מעקב וידאו לפי סימון

  סימון אזור מסוים בפריים בודד והפעלת מעקב אוטומטי לאורך כל הסרטון.

• ייצוא מסכות תנועה

  הפקת קובץ מסכות בינאריות עבור אלמנטים שנעים בווידאו לצורך מחקר.

• בדיקת גדלי מודל שונים

  השוואה בין רמות דיוק ומהירות באמצעות בחירה מגרסת tiny ועד large.

איפה זה נופל

הבעיה המרכזית היא שהיישום נמצא כרגע במצב שגיאת ריצה, ולכן אי אפשר להשתמש בו ישירות בעמוד כרגע. מעבר לכך, הרצת מודלים כבדים כמו SAM2 על מעבד רגיל ללא כרטיס מסך יוצרת צוואר בקבוק קשה בעיבוד וידאו, מה שעלול להוביל לקריסות בעבודה עם קבצים ארוכים.

איך משתמשים

טוענים את הווידאו, לוחצים על כפתור העיבוד המקדים, ובוחרים אם להזין נקודות או לצייר מסגרת על הפריים. לאחר מכן מגדירים קצב פריימים ומפעילים את המעקב. כרגע היישום מוגדר על מעבד בסיסי בלבד ואינו כולל מאיץ גרפי, כך שעיבוד של סרטון שלם צפוי לקחת זמן ממושך מאוד.

הרישיון

הקוד מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים בכפוף לתנאי הרישיון. הקבצים והסרטונים שמעלים מעובדים בסביבת השרת שבו היישום רץ.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗