comparing-VQA-models
רץ בדפדפןnielsrרישיון לא דווח2023-01-04
מעלים תמונה ושואלים עליה שאלה באנגלית, ומקבלים תשובות מחמישה מודלים שונים להשוואה ראש בראש. הכלי מיועד למי שרוצה לבדוק ראייה ממוחשבת מול מודלים קיימים בלי לכתוב קוד בעצמו.
- —הורדות בחודש
- 81לייקים
מה זה
אתם מעלים קובץ תמונה ומקלידים שאלה בתיבת הטקסט. בתגובה מופיעות חמש תיבות נפרדות, כשכל אחת מציגה את התשובה שחולץ מודל אחר: שתי גרסאות של GIT מבית מיקרוסופט (base ו־large), שתי גרסאות של BLIP מבית Salesforce, ומודל ViLT. הממשק כולל גם שלוש דוגמאות מובנות מראש, ביניהן שאלת ספירת חתולים בתמונה, זיהוי של מה שנמצא מאחורי תמרור עצור, וזיהוי מה שהאסטרונאוט רוכב עליו.
מאחורי הקלעים רצים חמישה מודלים שאומנו על משימות visual question answering. בקוד נטענים המעבדים והמשקלים ישירות מחבילת transformers, והפונקציה מריצה את כולם במקביל על אותם הקלטים. המטרה היא לראות איך מודל כבד כמו BLIP-large מתמודד מול מודלים קלים ומהירים יותר כמו ViLT על אותה שאלה בדיוק.
מתאים ל
- השוואת תשובות לשאלות תמונה
בדיקה איך מודלים שונים מפרשים את אותה התמונה, כדי לראות מי מהם מדייק בפרטים הקטנים.
- בדיקת ספירת עצמים
העלאת תמונות מורכבות כדי לבחון האם GIT או BLIP מצליחים לספור פריטים בלי לפספס.
- בחינת יכולות ViLT מול GIT
הערכה אם מודל קל ומהיר מספק תוצאה טובה מספיק בהשוואה למודלים כבדים ומורכבים.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עובדת בדפדפן כרגע בגלל שגיאת ריצה, ולכן אי אפשר לבדוק עליה תמונות משלכם בלי לתקן אותה מקומית. חוץ מזה, המודלים האלה מיועדים לאנגלית בלבד, ואין להם שום יכולת לקרוא שאלות בעברית. גם אם היא הייתה רצה חלק, חומרת ה־CPU הבסיסית שלה יוצרת צוואר בקבוק רציני כשמנסים להריץ חמישה מודלים שונים ברצף.
שאלות
נפוצות
למה האפליקציה לא מגיבה כשלוחצים עליה?
היא נמצאת כרגע במצב RUNTIME ERROR, מה שאומר שהקוד קרס בצד השרת. כל עוד היוצר לא מעדכן את הקוד, אי אפשר להריץ אותה בדפדפן.
האם השירות הזה עולה כסף?
לא, הגישה לדף חופשית ואין צורך בתשלום או בהזנת כרטיס אשראי. יחד עם זאת, בגלל התקלה הנוכחית היא ממילא אינה שמישה כרגע.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד מבוסס על ספריות סטנדרטיות של transformers ו־gradio, כך שאפשר להעתיק את app.py ולהריץ אותו מקומית. עם זאת, תצטרכו להוריד משקלים של חמישה מודלים שונים, מה שדורש זיכרון עבודה משמעותי.
האם המערכת תומכת בשאלות בעברית?
לא. המודלים שמוגדרים בקוד אומנו על מאגרי מידע באנגלית כמו VQAv2. שאלות בעברית יחזירו תוצאות שגויות או חסרות משמעות לחלוטין.
איך משתמשים
לוחצים על כפתור הטעינה כדי להעלות תמונה, כותבים שאלה באנגלית, ולוחצים על כפתור השליחה. אפשר גם ללחוץ על אחת הדוגמאות המוכנות בתחתית כדי לטעון אותן מיד.
בפועל, הדף הזה נמצא כרגע במצב של תקלת ריצה (RUNTIME ERROR), כך שהוא לא מבצע חישוב כשמנסים להשתמש בו ישירות. בנוסף, הוא מוגדר לרוץ על מעבד בסיסי (cpu-basic), מה שאומר שגם כשהוא תקין, טעינה של חמישה מודלים כבדים ועיבוד תמונה על מעבד פשוט לוקחים זמן ולא עובדים מהר כמו מאיץ גרפי.
הרישיון
הרישיון לא דווח בקוד או בהגדרות. במצב כזה אין אישור שימוש מסודר, ולכן לא מומלץ לקחת קטעי קוד או להסתמך עליהם לפרויקטים מסחריים. תמונות שמעלים נשלחות לשרת שמארח את ההדגמה.