ShilongLiu/Grounding_DINO_demo

מה זה

מעלים תמונה וכותבים בתיבת הטקסט מה רוצים למצוא, למשל ביטוי כמו אוזן של חתול. בפלט מקבלים בחזרה את התמונה המקורית כשהיא מסומנת בתיבות גבולות סביב העצמים שנמצאו, כולל תוויות הזיהוי שהתאימו לתיאור המבוקש. בממשק יש גם אפשרויות מתקדמות שמאפשרות לכוונן את ספי הזיהוי של התיבות והטקסט באמצעות סרגלי גרירה ייעודיים.

מאחורי הקלעים רץ המודל ShilongLiu/GroundingDINO, שמחבר בין עיבוד שפה טבעית לראייה ממוחשבת לצורך זיהוי במערך פתוח. כדי לקרוא ולהבין את הפרומפטים הטקסטואליים, הקוד נשען על מודלי שפה ממשפחת ברט כמו google-bert/bert-base-uncased ו־FacebookAI/roberta-base. המבנה הזה מחליף את הצורך במודלים ישנים שמזהים רק רשימה סגורה וקבועה מראש של עצמים, ומאפשר לאתר כל פרט שמתואר במילים.

מתאים ל

• איתור עצמים לפי טקסט חופשי

  סימון פריטים בתמונות על בסיס תיאור מילולי מדויק בלי צורך באימון מוקדם על קטגוריה ספציפית.

• בדיקת ספי רגישות לזיהוי

  כוונון פרמטרים של תיבות וטקסט כדי לבחון כיצד משתנה דיוק הזיהוי על גבי תמונות שונות.

• ניסוי ראשוני לקראת הטמעה

  בחינת יכולות המודל מול מקרי קצה ומבני תמונה מורכבים לפני הורדת המשקלים להרצה עצמאית.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה תקועה בשגיאת בנייה ולא עובדת כרגע כלל. מעבר לזה, המפרט שמבוסס על מעבד בסיסי אינו משקף את המהירות האמיתית של המודל בסביבת ייצור עם חומרה גרפית מתאימה. מודלי השפה המשולבים פועלים באנגלית בלבד, כך שטקסט בעברית לא יניב תוצאות נכונות. בנוסף, הגדרת ספי זיהוי שגויה עלולה להחזיר תיבות מיותרות או לפספס לחלוטין עצמים קטנים.

איך משתמשים

טוענים תמונה מהמחשב, מקלידים הנחיית טקסט בתיבת הפרומפט, ואם רוצים מכווננים את ספי הזיהוי באקורדיון ההגדרות המתקדמות. לאחר מכן לוחצים על כפתור ההרצה כדי לשלוח את המשימה לתור. השימוש אינו דורש הרשמה או תשלום. עם זאת, הסביבה הזו נמצאת כרגע במצב של תקלת בנייה ולכן היא לא תגיב בפועל בדפדפן. בנוסף, המפרט הטכני כאן מתבסס על מעבד בסיסי בלבד ללא מאיץ גרפי, כך שגם כשהקוד רץ העיבוד נמשך זמן רב.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש חופשי כולל התאמה ושימוש מסחרי בכפוף לתנאי הרישיון. התמונות שאתם מעלים והתוצרים שמתקבלים מעובדים בשרתי הפלטפורמה הציבוריים, ולכן לא מומלץ להעלות מידע פרטי או רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗