LLMDet-demo

מה זה

אתם מעלים קובץ תמונה ומזינים שמות של פריטים שאתם מחפשים, מופרדים בנקודה. הממשק מחזיר את אותה תמונה כשהעצמים המבוקשים מוקפים במסגרות עם תוויות זיהוי ברורות.

מאחורי הקלעים רץ המודל fushh7/llmdet_swin_large_hf, שמבוסס על ארכיטקטורת Grounding DINO לצד מעבד תואם מחבילת transformers. המערך כולל גם סליידרים לקביעת סף הזיהוי לקופסה וסף ההתאמה לטקסט, שניהם נעים בין אפס לאחד עם ברירות מחדל של 0.4 ו־0.3.

הדוגמאות המוכנות כוללות תמונות יומיומיות. אחת מציגה איתור של פח, בקבוק מים, יד ונעל. דוגמה אחרת מציגה צלחת מזון ומאתרת חסה, פרוסות תפוז, ביצים, גבינה וכרוב אדום, כולל חלוקה לקבוצות פריטים מאותו סוג.

מתאים ל

• איתור מוצרים בתמונות

  זיהוי וסימון של פריטים מגוונים על מדף או שולחן באמצעות הזנת שמותיהם באנגלית.

• בדיקת זיהוי קבוצות פריטים

  בחינת היכולת להבדיל בין עצמים בודדים למקבצים מרובי פריטים כמו פרוסות מזון.

• ניסוי בספי רגישות למודל

  כוונון ערכי הסף לקופסה ולטקסט כדי לבחון איך הסינון משפיע על כמות המסגרות.

איפה זה נופל

ההדגמה לא עובדת ברגע זה כי המצב שלה מוגדר PAUSED. מעבר לכך, היא טוענת רק את גרסת swin_large מתוך שלוש הגרסאות הקיימות של LLMDet, כך שאי אפשר להשוות ביצועים מול גרסאות swin_tiny או swin_base מאותו ממשק. בנוסף, חומרת מעבד בסיסית מקשה על בדיקה חלקה של תמונות כבדות או רשימות טקסט ארוכות.

איך משתמשים

גוררים תמונה לחלון הקלט, כותבים את המילים באנגלית ומכוונים את שני הסליידרים לפי הצורך. הדוגמאות נשמרות מראש בזיכרון מטמון, כך שהן אמורות לעלות מהר. בפועל הדף נמצא כרגע במצב מושהה, והחומרה שמוגדרת לו היא מעבד בסיסי, כך שעיבוד תמונה חדשה ייקח זמן ולא יעבוד עד שההדגמה תופעל מחדש ברשת.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. המידע והתמונות שאתם מעלים עוברים דרך השרת שמארח את הממשק הציבורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗