Grounded-SAM

מה זה

מעלים תמונה ובוחרים סוג משימה מתוך תפריט ייעודי. מזינים טקסט באנגלית עם שמות העצמים שרוצים לסמן, למשל הפרדה בין מילים בעזרת נקודות כמו cat . dog. אם רוצים לשנות אזור מסוים, מוסיפים תיאור טקסטואלי שמסביר מה לצייר במקומו. הפלט המתקבל מציג גלריית תמונות שכוללת את הזיהוי בקופסאות, מסכות סגמנטציה מלאות, או את התמונה החדשה לאחר עיבוד.

השרשרת הטכנולוגית מורכבת מכמה כלים שעובדים יחד. המודל Grounding DINO מאתר את העצמים לפי התיאור ויוצר סביבם מסגרות. משם המידע עובר למודל SAM של מטא שגוזר מסכה מדויקת לכל פריט. במידת הצורך, המערכת משלבת גם את BLIP לתיאור תמונה אוטומטי, וצינור של Stable Diffusion Inpainting שמחליף את האזור שנבחר לפי ההוראה הטקסטואלית.

מתאים ל

• חיתוך אובייקטים לפי טקסט

  בידוד עצמים ספציפיים מתמונות בלי צורך לסמן נקודות ידנית, רק באמצעות הקלדת שמותיהם באנגלית.

• עריכת תמונה מקומית

  החלפת פריטים בתוך תמונה על ידי מחיקת המסכה שנוצרה וציור אובייקט חלופי בעזרת מודל דיפוזיה.

• יצירת דאטה מסומן

  הפקת מסכות גזירה וקופסאות תוחמות בקנה מידה רחב לאימון מודלים חדשים של ראייה ממוחשבת.

איפה זה נופל

הבעיה המרכזית היא שהחלל נמצא כרגע במצב תקלה, כך שאי אפשר להריץ בו פקודות ישירות בלי לתקן את הסביבה או להריץ אותה עצמאית. בנוסף, זיהוי העצמים מבוסס על שפה אנגלית בלבד ודורש תחביר מדויק של נקודות בין מילים כדי לא להתבלבל. שילוב של כל כך הרבה מודלים כבדים על מאיץ גרפי בודד עלול להיכשל בקלות מחוסר זיכרון.

איך משתמשים

טוענים תמונה בצד אחד של הממשק, כותבים את הפרומפט, מכוונים במידת הצורך ספי רגישות לזיהוי וחפיפה דרך תפריט האפשרויות המתקדמות, ולוחצים על כפתור ההרצה. לא צריך חשבון מיוחד כדי לגשת. השרת מוגדר על חומרת T4, אך נכון לעכשיו העמוד מדווח על שגיאת ריצה כללית וההדגמה אינה פעילה בדפדפן.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקוד והפצה מחדש, כל עוד שומרים על הודעות זכויות היוצרים המקוריות ומצרפים עותק של תנאי השימוש. אין דיווח מפורש לגבי שמירת התוכן או התמונות שמועלות לשרת, ולכן לא מומלץ להעלות מידע רגיש להדגמות ציבוריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗