GLIP-BLIP-Object-Detection-VQA

מה זה

אתם מזינים קובץ מדיה לצד הנחיות טקסטואליות פשוטות בשדות הקלט. הממשק מחולק לשלוש לשוניות של תמונה, וידאו או צילום ישיר ממצלמת רשת. לכל מדיה מצרפים רשימת אובייקטים לזיהוי ושאלה מילולית לגבי התוכן שלה. בסיום העיבוד מקבלים תמונה שבה מסומנים האובייקטים שנמצאו באמצעות תיחום ויזואלי, ותיבת טקסט עם תשובה ישירה לשאלה שהוזנה.

מאחורי הקלעים פועל שילוב של שני מודלים מרכזיים. מודל GLIP-T של מיקרוסופט אחראי על איתור העצמים וקישורם לתיאורי הטקסט, בעוד מודל BLIP של סיילספורס מנתח את התמונה ומייצר את התשובות לשאלות. הקוד נעזר גם בספריות תשתית ומשקלים של CLIP וגרסאות BERT ו־RoBERTa לצורך עיבוד השפה וההקשר הוויזואלי. אין בממשק דוגמאות מובנות מראש, כך שחייבים להעלות קבצים עצמאיים.

מתאים ל

• זיהוי עצמים בתמונות

  איתור וסימון אובייקטים לפי שמות חופשיים באנגלית על גבי תמונה בודדת.

• מענה לשאלות על תוכן

  קבלת תשובה טקסטואלית לשאלה על המתרחש בתמונה או בפריים מתוך וידאו.

• בדיקת וידאו בפריימים

  סריקת קטעי וידאו עם אפשרות דילוג על פריימים לחילוץ עצמים בזמן תנועה.

איפה זה נופל

ההדגמה הנוכחית מושבתת לחלוטין ברשת בגלל שגיאת ריצה בקוד. אם תורידו אותה מקומית, ההתקנה מורכבת ודורשת הידור ידני של maskrcnn_benchmark וגרסת פייתורץ' 1.10 ישנה. בנוסף, מודל השאלות והתשובות מנתח רק את כלל הפריים ולא עונה על שאלות ממוקדות לגבי עצם ספציפי שסומן.

איך משתמשים

טוענים תמונה או סרטון, מקלידים שמות עצמים ושאלה, ולוחצים על Submit. בווידאו יש גם סליידר שמאפשר לדלג על פריימים מ־0 עד 30 כדי להאיץ את התהליך. נכון לעכשיו אי אפשר להריץ את ההדגמה בענן כי היא נמצאת במצב שגיאת ריצה על שרת ה־t4-small. מי שרוצה להשתמש בה בפועל צריך להוריד את הקוד, להתקין סביבת פייתון תואמת ולהריץ אותה על כרטיס מסך של אנבידיה עם 8GB זיכרון לפחות.

הרישיון

הפרויקט מופץ תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי בקוד. אין תיעוד מסודר על שמירת הקבצים שמועלים לענן, אך המשקלים של המודלים המקוריים כפופים לתנאי השימוש של יוצריהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗