OWL-ViT

מה זה

אתם מעלים תמונה, כותבים שמות של עצמים מופרדים בפסיקים, וקובעים סף ביטחון בעזרת סליידר שנע בין 0 ל־1, עם ברירת מחדל של 0.1. הפלט מציג את התמונה עם סימון העצמים שהמודל מצא לפי ההגדרות שלכם.

מאחורי הקלעים רץ המודל google/owlvit-base-patch32 של גוגל באמצעות ספריית transformers של Hugging Face. הוא משתמש בטכניקת zero-shot, כך שאפשר לחפש כמעט כל עצם, במיוחד אם משתמשים בתבניות טקסט בסגנון CLIP כמו photo of a shoe כדי לשפר את הדיוק.

מתאים ל

• איתור עצמים נדירים בתמונות

  חיפוש פריטים שלא קיימים במאגרי אימון סגורים, על ידי כתיבת שמם באנגלית.

• בדיקת תבניות טקסט לראייה

  השוואה בין ניסוחים כמו shoe לבין photo of a shoe כדי לראות מה תופס טוב יותר.

• סינון רעשים בזיהוי

  משחק עם סליידר הסף בין 0 ל־1 כדי לראות מאיזו רמת ביטחון המודל מדייק.

איפה זה נופל

הבעיה המיידית היא שההדגמה מדווחת כשבורה כרגע, ולכן לא תקבלו שום תוצאה בלחיצה על כפתור ההרצה. מעבר לזה, המודל רגיש לניסוח הטקסט, ומילים בודדות בלי תבנית מתאימה עלולות לפספס אובייקטים ברורים או להציג זיהויים שגויים תחת סף נמוך.

איך משתמשים

בממשק יש שדה להעלאת תמונה, תיבת טקסט לרשימת הפריטים, וסליידר לסינון תוצאות לפי סבירות. כרגע המרחב נמצא במצב של שגיאת ריצה (RUNTIME_ERROR), כך שאי אפשר להפעיל אותו ישירות בדפדפן עד שיתוקן. כשהוא פועל, הוא מוגדר על חומרת cpu-basic בסיסית, מה שאומר שעיבוד תמונה דרך המעבד לוקח כמה שניות לכל הרצה.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. אין פירוט לגבי שמירת התמונות שאתם מעלים, אך השימוש מתבצע דרך שרתי Hugging Face.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗