Grounding_DINO_demo

מה זה

אתם מעלים תמונה ומקלידים בתיבת הטקסט מה לחפש בתוכה באנגלית, למשל חתול, שולחן או אוזן של חתול. המערכת מחזירה את אותה תמונה עם תיבות תוחמות מסומנות סביב כל אובייקט שזוהה בהתאם לתיאור המילולי שהזנתם.

מאחורי הקלעים רץ המודל ShilongLiu/GroundingDINO, שמשלב בין ארכיטקטורת זיהוי עצמים מבוססת שנאים לבין מודלי שפה כמו BERT ו־RoBERTa כדי לחבר בין טקסט חופשי לפיקסלים בתמונה. בממשק יש גם דוגמאות מובנות שנשמרו מראש ומאפשרות לבחון את הדיוק של המודל מיד בלי להעלות קובץ משלכם.

מתאים ל

• איתור עצמים חופשי בתמונות

  זיהוי וסימון אובייקטים לפי מילות תיאור חופשיות באנגלית, גם כשמדובר בפרטים קטנים או לא שגרתיים.

• כוונון ספי רגישות לזיהוי

  בדיקת השפעת סף התיבה וסף הטקסט על איכות האיתור כדי להבין את רגישות המודל לפני הטמעה בקוד.

• בחינת יכולות zero-shot

  בדיקת יכולת המודל לזהות פריטים מורכבים בתמונות חדשות ללא אימון מקדים על מאגר נתונים ספציפי.

איפה זה נופל

האפליקציה רצה על מעבד רגיל בלבד ולכן היא אטית ואינה משקפת את מהירויות השיא שאפשר להפיק מהמודל על גבי כרטיסי מסך חזקים. הטקסט נתמך באנגלית בלבד עקב שימוש במודלי שפה ייעודיים, כך שהקלדה בעברית לא תעבוד. בנוסף, חדות הזיהוי תלויה מאוד בכיוונון ידני של הסליידרים, ואם הסף לא מוגדר נכון מתקבלים זיהויים שגויים או החמצות.

איך משתמשים

לוחצים על כפתור ההעלאה, בוחרים תמונה, מקלידים הנחיה בתיבת הטקסט ולוחצים על Run. תחת אפשרויות מתקדמות אפשר לכוונן סליידרים של ספי זיהוי לתיבות ולטקסט. הממשק פתוח לשימוש חופשי ואינו דורש הרשמה או התחברות. מכיוון שהקוד רץ על גבי חומרת cpu-basic בסיסית, כל הרצה תיקח זמן מורגש, בדרך כלל כמה עשרות שניות לכל עיבוד תמונה.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 שמתיר שימוש מסחרי, שינוי והפצה של הקוד. תמונות שאתם מעלים מועברות לעיבוד על גבי השרת שמארח את האפליקציה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗