Grounded-Segment-Anything

מה זה

מעלים תמונה מקובץ או מהמצלמה, ובוחרים משימה כמו זיהוי או עריכה. בשדה הטקסט מקלידים שמות של עצמים מופרדים בנקודות באנגלית. אם רוצים להסיר אובייקט או להחליף אותו, מגדירים הנחיה מתאימה לשדה השינוי, או משאירים ריק כדי למחוק לגמרי. בנוסף יש אפשרות להפיק תיאורים לתמונה ברמות פירוט שונות.

מתחת למכסה המנוע רץ שילוב של מספר מודלים כבדים. GroundingDINO מזהה את מיקומי העצמים לפי הטקסט, Segment Anything חותך את המסכות המדויקות, ומודלים של Stable Diffusion מטפלים בהשלמת התמונה ובמחיקה. בנוסף משולבים מודלים לניתוח טקסט ותמונה כמו Kosmos 2. התוצאה המוצגת כוללת את התמונות המעובדות, קופסאות הסימון, או הטקסטים שהופקו.

מתאים ל

• זיהוי וחיתוך עצמים

  איתור אובייקטים בתמונה לפי שמותיהם באנגלית והפקת מסכות מדויקות עבורם.

• מחיקת אלמנטים מתמונה

  סימון עצם והסרתו מהרקע על ידי מודל שמשלים את האזור הריק.

• הפקת תיאור לתמונה

  יצירת תיאור מילולי קצר או מפורט של מה שמופיע בתמונה.

איפה זה נופל

החיסרון המרכזי והמיידי הוא שהאפליקציה פשוט לא עובדת וקורסת בעלייה. מעבר לכך, התלות במודלים באנגלית מחייבת כתיבת הנחיות באנגלית בלבד. אם GroundingDINO לא מזהה את מה שביקשתם, הממשק מחזיר הודעת שגיאה ולא ייווצרו מסכות בכלל. הניסיון להעמיס כל כך הרבה מודלים שונים על מעבד גרפי צנוע מוביל לביצועים איטיים או לקריסות זיכרון.

איך משתמשים

לוחצים על כפתור ההרצה אחרי העלאת התמונה והזנת שמות העצמים. בפועל, אי אפשר להשתמש באפליקציה הזאת כרגע בדפדפן כי היא מדווחת על שגיאת זמן ריצה ואינה פעילה. בעבודה תקינה על חומרת t4-small, שרשור של מספר מודלים לעיבוד תמונה דורש זמן המתנה ניכר לכל פעולה.

הרישיון

הרישיון של המרחב עצמו לא דווח ולא צוין בקוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד של הממשק. מודלים מסוימים שרצים ברקע, כמו גרסאות של Stable Diffusion, מגיעים עם תנאי רישיון מגבילים משלהם.

הרישיון המלא ב־Hugging Face ↗