panoptic-segment-anything

מה זה

מעלים תמונה ומקלידים שמות של עצמים בדידים כמו מכוניות או אנשים, לצד שמות של רקעים רציפים כמו שמיים, כביש או דשא. אפשר גם לפתוח הגדרות מתקדמות ולכוונן ספי רגישות לזיהוי תיבות, ספי טקסט או גודל כיווץ הגבולות. בתמורה מקבלים את התמונה עם שכבות הצבע מעל העצמים שסומנו, מפת סיביות של החלוקה, ופלט נתונים מלא במבנה JSON.

מתחת למכסה המנוע לא רץ מודל יחיד אלא שרשרת עיבוד. GroundingDINO מזהה ומאתר את העצמים הבדידים לפי הטקסט, CLIPSeg מטפל ברקעים ובמשטחים הרציפים, ומשם המידע מוזן לתוך SAM שמייצר את מסכות החיתוך המדויקות על הפיקסלים. הממשק כולל גם דוגמאות מוכנות ששמורות מראש כדי להציג את התוצאות בלי לחכות לעיבוד מלא.

מתאים ל

• בדיקת שילובי מודלים

  בחינה מהירה של חיבור בין זיהוי טקסט לחיתוך תמונה לפני שמחליטים לבנות צנרת עיבוד כזאת לבד.

• הפרדת עצמים ורקעים

  יצירת מסכות פיקסלים מפורטות לתמונות שמכילות גם פריטים בודדים וגם משטחים כמו שמיים וכביש.

• חילוץ נתוני סימון

  ייצוא נתוני זיהוי ומסכות לקובץ טקסט מובנה עבור מערכות חיצוניות שצריכות קואורדינטות.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקלה ולא תריץ תמונות חדשות שתעלו בדפדפן. מעבר לכך, היא דורשת מכם לדעת מראש מה לחפש ולהפריד נכון בין עצמים בודדים לבין רקעים כדי לקבל תוצאה סבירה. מכיוון שהיא משלבת שלושה מודלים כבדים, כל טעות של אחד מהם, כמו זיהוי שגוי בטקסט או מסכה מרוחה, דופקת את כל החיתוך הסופי בלי שתוכלו לתקן נקודתית.

איך משתמשים

בפועל אתם מעלים קובץ תמונה, מקלידים את שמות הקטגוריות בשתי תיבות הטקסט ולוחצים על כפתור ההרצה. הממשק משתמש בתור מובנה ומריץ את החישובים על גבי מעבד גרפי t4-medium, כך שעיבוד של תמונה חדשה לוקח בדרך כלל כמה עשרות שניות בגלל המעבר בין שלושה מודלים שונים ברצף. אין צורך בהתחברות או ביצירת חשבון, אבל נכון לעכשיו העמוד מדווח על שגיאת זמן ריצה, כך שהדפדפן לא באמת יבצע את החישוב מחדש אם תלחצו על הכפתור.

הרישיון

הקוד מופץ תחת רישיון apache-2.0 ומאפשר שימוש חופשי ושינוי של הקוד, כולל התאמות לצרכים מסחריים. לגבי התמונות שאתם מעלים, הן נשלחות לעיבוד בשרתי השרות ואין מידע לגבי שמירה או מחיקה שלהן לאחר הריצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗