MobileSAM

מה זה

מעלים תמונה לתוך ממשק גרדיו ומסמנים נקודות על גבי העצם שרוצים לבודד. בתגובה מקבלים תמונה מעובדת שבה האובייקט המסומן מופרד עם מסיכה ויזואלית. בקוד הממשק מוגדרת לשונית נקודות, וכפתורים להוספה או הסרה של סימונים לצד דוגמאות מובנות לבדיקה.

מאחורי הקלעים רץ שילוב של ארכיטקטורת סגמנטציה עם מקודד תמונה מסוג טייני ויט בעל חמישה מיליון פרמטרים, במקום המקודד המקורי הכבד שמחזיק מעל שש מאות מיליון פרמטרים. בנוסף נטענים רכיבים של פאסט סאם כדי לייצר מסיכות מהירות.

מתאים ל

• חיתוך אובייקט בודד

  סימון נקודה על פריט כדי להפיק ממנו מסיכת בידוד מהירה.

• בדיקת דיוק מול מודל מקורי

  השוואת איכות קווי המתאר של המקודד המוקטן מול המקור.

• התנסות בקלט נקודות

  הבנת התנהגות המודל בהוספה והסרה של נקודות הנחיה.

איפה זה נופל

הבעיה המיידית היא שההדגמה קורסת ולא פועלת כרגע בגלל שגיאת ריצה. מעבר לכך, לשונית חיתוך אוטומטי של כלל העצמים בתמונה מנוטרלת בהערות בקוד, כך שאפשר לנסות רק מצב נקודות ידני. המהירות המדווחת במאמר, שתים עשרה מילישניות, נמדדה על חומרת עיבוד גרפי ולא מייצגת את השרת הנוכחי.

איך משתמשים

טוענים תמונה, לוחצים עליה כדי לקבוע נקודות מטרה, ולוחצים על כפתור הפילוח. כרגע לא מקבלים תוצאה כי העמוד נמצא במצב שגיאת ריצה ואינו פעיל בדפדפן. במצב עבודה רגיל המודל מיועד להחזיר פילוח בכמה עשרות מילישניות על מאיץ גרפי, אך החומרה שמוגדרת כאן היא מעבד משודרג ללא כרטיס מסך ייעודי.

הרישיון

הקוד והמודל מפורסמים תחת רישיון אפאצ'י 2.0 שמתיר שימוש חופשי וגם מסחרי. לגבי תמונות שמעלים לשרת, אין פירוט בממשק על מדיניות שמירת הנתונים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗