linfanluntan/Grounded-SAM

מה זה

מעלים תמונה ובוחרים משימה בתפריט. הממשק דורש תיאור טקסטואלי של העצמים לחיפוש, עם המלצה להפריד מילים בנקודות, ולפי הצורך גם טקסט שמסביר מה לצייר מחדש באזור הנבחר. בפלט מקבלים גלריית תמונות שמציגה את תיחום האובייקטים, המסיכות שנוצרו או התוצאה לאחר עריכת השטח.

מתחת למכסה המנוע רץ שרשור של מספר מודלים עצמאיים. Grounding DINO מאתר את העצמים לפי הטקסט ויוצר תיבות תוחמות, מודל Segment Anything חותך מהן מסיכות מדויקות, וצינור של Stable Diffusion Inpainting ממלא את השטח לפי ההוראות. המערך כולל גם את BLIP לתיאור תמונות אוטומטי ואת bert-base-uncased ו־roberta-base לעיבוד הטקסט.

דוגמאות הפרויקט מציגות זיהוי של דוב בנוף פתוח, בידוד איברים מורכבים והחלפה של עצמים באמצעות הנחיות טקסט.

מתאים ל

• זיהוי וסימון עצמים

  איתור אוטומטי של עצמים מרובים בתמונה לפי תיאור טקסט חופשי בלי סימון ידני.

• עריכת תמונות מונחית טקסט

  מחיקה או החלפה של אובייקטים מוגדרים בעזרת שילוב מסיכה ומודל דיפוזיה.

• תיוג תמונות לפיתוח

  יצירת מסיכות ותיבות תוחמות עבור אימון מודלים של ראייה ממוחשבת.

איפה זה נופל

ההדגמה שבורה כרגע ולא מגיבה לפעולות. גם כשהקוד רץ, Grounding DINO דורש תחביר קפדני של נקודות בין מילים ומפספס בקלות בהנחיות מורכבות. הממשק כולל ספי סף רגישים לתיבות ולטקסט, ואם לא מכוונים אותם נכון מקבלים מסיכות חלקיות או זיהוי שגוי לחלוטין.

איך משתמשים

בפועל אי אפשר להריץ את ההדגמה הזאת כרגע. הדף מוגדר על חומרת מעבד בסיסית בלבד, אך הוא נמצא במצב שגיאת ריצה ואינו פעיל בדפדפן. שרשור מודלים כבד כזה, שכולל מודל שפה, מודל זיהוי ומודל דיפוזיה, דורש מעבד גרפי ייעודי כדי לעבוד בזמן סביר ולא ייסחב על מעבד רגיל.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 שמתיר שימוש מסחרי, שינוי והפצה של הקוד. עם זאת, כל מודל בשרשרת עשוי להחזיק תנאי רישוי משלו שיש לבדוק בנפרד לפני שימוש בתוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗