OFA-vqa

מה זה

מזינים כאן שני דברים: קובץ תמונה ושאלת טקסט חופשית באנגלית. בתמורה מקבלים תיבת טקסט עם תשובה ממוקדת על מה שמופיע בתמונה, בין אם מדובר בזיהוי עצמים או ספירה של פריטים.

מתחת למכסה המנוע הקוד נשען על fairseq וטוען את מודל OFAModel עבור משימת vqa gen. המערכת עושה שימוש בעיבוד תמונה דרך torchvision ופונקציית zero shot step כדי לחלץ את התשובה מתוך ההקשר החזותי, כשהמטא-דאטה מצביע גם על שילוב של gpt2.

ההדגמות המובנות בממשק ממחישות את כיווני השימוש הבסיסיים. יש שם שאלות כמו איפה נמצאים החתולים, ספירה של כמות אנשים, זיהוי גזע של כלב לפי תמונה של לברדור, או זיהוי סגנון הציור של ליל כוכבים.

מתאים ל

• ספירת אובייקטים בתמונה

  שואלים כמה אנשים או חפצים מופיעים בצילום ומקבלים מספר ישירות בטקסט.

• זיהוי פרטים וגזעים

  מעלים תמונה של בעל חיים כדי לברר את הגזע שלו על בסיס המאפיינים הוויזואליים.

• איתור מיקום בפריים

  מבררים איפה נמצא עצם מסוים בתוך הקומפוזיציה של התמונה.

איפה זה נופל

החיסרון המיידי הוא שהממשק פשוט שבור כרגע במצב תקלה, כך שלא תקבלו שום פלט בלי שהקוד יתוקן. מעבר לכך, כל הדוגמאות בנויות על שאלות באנגלית ולא מדווחת תמיכה בעברית. אל תבנו על הממשק הזה לבדיקה אמינה בלי לוודא את מצב השרת מראש.

איך משתמשים

בפועל בוחרים אחת מארבע תמונות הדוגמה או מעלים תמונה משלכם, רצוי ברזולוציה גבוהה לפי המפתחים, מקלידים שאלה ולוחצים להרצה. עם זאת, נכון לעכשיו העמוד מדווח על שגיאת ריצה כללית ואי אפשר להשתמש בו. בנוסף, הוא מוגדר על חומרת מעבד בסיסית בלבד ללא האצת מאיץ גרפי, כך שגם כשהקוד עובד המענה צפוי לקחת זמן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. המידע לא מציין שמירה של הקבצים שלכם בשרת, אך העלאת תמונות לכלי ציבורי ברשת דורשת זהירות עם מידע פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗