vilt-b32-finetuned-vqa

מה זה

מדובר במודל ראייה ושפה קל במיוחד שעבר אימון ייעודי למשימות visual question answering על גבי מאגר הנתונים VQAv2. המבנה שלו מוותר על שלבי עיבוד תמונה מורכבים כמו רשתות קונבולוציה נפרדות, ומעביר את הפיקסלים והטקסט יחד ישירות לתוך ארכיטקטורת הטרנספורמר ב־12 שכבות.

בניגוד למודלי מולטימודל מודרניים שדורשים שרתי ענק, הוא תוכנן להיות מהיר וחסכוני במשאבים. אתם שולחים תמונה ושאלה באנגלית, והוא מחזיר סיווג של התשובה מתוך אוצר המילים שעליו התאמן. אין פה יצירת טקסט חופשי, אלא שליפת תיוג מתאים לשאלה ממוקדת על מה שרואים בפריים.

מתאים ל

• ספירת אובייקטים בתמונה

  מענה מהיר לשאלות כמותיות פשוטות באנגלית בלי להעמיס מודל ענק.

• זיהוי צבעים ומאפיינים

  בדיקת תכונות בסיסיות של עצמים בפריים מתוך סט תשובות סגור.

• אימות תוכן ויזואלי

  מתאים לצינורות עיבוד מקומיים שצריכים לסווג תמונות לפי שאלת כן ולא.

איפה זה נופל

חלון ההקשר מוגבל ל־40 טוקנים בלבד, כך שאי אפשר להעביר שאלות ארוכות, הנחיות מורכבות או טקסט מפותל. בנוסף, המודל אומן על אנגלית בלבד ולא יבין עברית. הוא עונה בצורה של סיווג תשובות מוגדר מראש, כך שאם התשובה דורשת הסבר מורכב, תיאור פתוח או ניסוח שלא קיים בדאטהסט המקורי, הוא ייכשל או יחזיר תיוג שגוי.

איך מריצים

טוענים את המודל דרך ספריית transformers בפייתון יחד עם ה־Processor הייעודי שלו. הקבצים שוקלים 449 מגה בייט בלבד, כך שאין שום צורך בחומרת שרתים יקרה או בכרטיסי מסך מפלצתיים, וכל מעבד רגיל או GPU בסיסי מריץ אותו מקומית בקלות.

במשקל כזה אין טעם לחפש שירותי צד שלישי או לשלם על קריאות API חיצוניות. פשוט מורידים את המשקולות לקונטיינר או למחשב הפיתוח ומריצים ישירות בקוד שלכם בלי תלות ברשת.

from transformers import pipeline

pipe = pipeline("visual-question-answering", model="dandelin/vilt-b32-finetuned-vqa")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 449 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin470.4 MB
• tokenizer.json466.1 KB
• vocab.txt231.5 KB
• config.json135.5 KB
• README.md2.2 KB
• .gitattributes1.2 KB
• tokenizer_config.json320 B
• preprocessor_config.json251 B
• special_tokens_map.json112 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המודל בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ונוסח הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗