SegGPT

מה זה

אתם מעלים תמונת דוגמה, מציירים עליה מסכה שמגדירה את העצם שמעניין אתכם, ומצרפים תמונה אחת או שתיים נוספות. הממשק מחזיר את אותן תמונות עם העצמים הדומים מסומנים לפי מה שהגדרתם. מאחורי הקלעים פועל מודל SegGPT, ובחלק מהמצבים יש שילוב של SAM כדי לייצר מסכה מדויקת יותר בקלט.

המערכת מציגה שלוש לשוניות עבודה. יש לשונית של תמונות רגילות, לשונית שמחברת את SAM כדי ללכוד אובייקט בלחיצה לפני ההרצה, ולשונית שמקבלת וידאו ומחזירה סרטון עם מעקב וסגמנטציה של האובייקט לאורך הפריימים. הקוד מכיל דוגמאות מובנות לכל אחד מהמצבים הללו.

מתאים ל

• סגמנטציה לפי תמונה בודדת

  סימון עצם בתמונה אחת כדי שהכלי ימצא ויסמן אותו עצם בשתי תמונות נוספות.

• בידוד עצמים בלחיצה עם SAM

  יצירת מסכה ראשונית בעזרת SAM והעתקת הסימון לאובייקטים מקבילים בתמונות היעד.

• מעקב וסימון בווידאו

  הגדרת פריים מפתח עם מסכה והחלת הסגמנטציה לאורך קובץ הווידאו כולו.

איפה זה נופל

ההדגמה רצה על מעבד פשוט, מה שהופך הרצה של קבצי וידאו או תמונות כבדות לאיטית במיוחד. הפלט בתמונות מוגבל בתצוגה למימדים קטנים של 256 על 256 פיקסלים, כך שאי אפשר לבחון פה חיתוך של פרטים עדינים ברזולוציה גבוהה. הממשק מכיל תיאורים וטקסטים בסינית, דבר שמקשה על ההתמצאות למי שלא קורא את השפה.

איך משתמשים

נכנסים לממשק ובוחרים באחת משלוש הלשוניות לפי הצורך, תמונות או וידאו. מעלים את הקבצים, מציירים את המסכה בעזרת המברשת או בוחרים דוגמה מוכנה, ולוחצים על שליחה. החומרה מוגדרת כמעבד בסיסי בלבד וללא שמירה של תוצאות מראש, ולכן העיבוד, במיוחד על קטעי וידאו, ייקח זמן ולא יקרה מיד.

הרישיון

הקוד פועל תחת רישיון MIT, מה שמאפשר שימוש חופשי בקוד, כולל התאמה לצרכים מסחריים. לגבי התמונות והסרטונים שאתם מעלים, הם נשלחים לשרת לצורך עיבוד בלבד, אך מומלץ לא להעלות חומרים רגישים בהדגמות פתוחות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗