Personalize-SAM

מה זה

מעלים תמונה אחת עם מסיכה שמסמנת את האובייקט הרצוי, או שמציירים עליה ישירות בעזרת כלי שרבוט. לצד זה מזינים עד שתי תמונות בדיקה נוספות. הפלט שמקבלים הוא שתי תמונות שבהן אותו אובייקט בדיוק נחתך ומבודד אוטומטית.

מאחורי הקלעים רץ מימוש מותאם אישית של Segment Anything בשם per_segment_anything. המודל לומד את המאפיינים של העצם הספציפי בדוגמה הבודדת ומנסה לאתר אותו בתמונות האחרות. הדוגמאות המובנות בממשק כוללות חתול, סניקרס צבעוניות וברווז צעצוע.

מתאים ל

• חיתוך מוצר בתנוחות שונות

  סימון מוצר כמו נעל בתמונה אחת ואיתור שלו בעוד שתי זוויות צילום.

• מעקב אחר חיית מחמד

  הזנת תמונה של חתול ספציפי כדי לבודד אותו מתמונות רקע אחרות.

• בדיקת יכולות התאמה

  בחינה מהירה של התנהגות מודל סגמנטציה מותאם אישית בלי לכתוב קוד.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין, הדף תקוע על שגיאת ריצה ולא מבצע עיבוד. מעבר לכך, הממשק מוגבל מראש לעיבוד של שתי תמונות בדיקה בלבד בכל הרצה. שימוש ב־one shot עלול להיכשל כשזווית הצילום משתנה קיצונית, ולא מדובר בכלי לעיבוד כמויות גדולות של קבצים.

איך משתמשים

בפועל נכנסים לאחד משלושה ממשקים בלשוניות, מזינים את התמונות או מציירים על גבי התמונה ולוחצים על הפעלה. אין צורך בחשבון או בהתחברות כדי לגשת לממשק. עם זאת, נכון לעכשיו המרחב נמצא במצב של שגיאת ריצה, ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי שהיוצר יתקן את הקוד או שישוכפל לחומרה עובדת.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי בקוד, שינוי שלו ואפילו שילוב בפרויקטים מסחריים. לגבי התמונות שמעלים, הממשק הציבורי שולח אותן לשרת שמריץ את ההדגמה, כך שלא כדאי להעלות חומרים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗