blip-vqa-capfilt-large

מה זה

המודל הזה משלב ניתוח ויזואלי עם מודל שפה כדי לענות על שאלות ישירות לגבי תמונות. הוא בנוי על ארכיטקטורת ViT גדולה, ומאומן בשיטה שמייצרת ומסננת כתוביות כדי להתמודד עם דאטה רועש מהרשת. לפי המאמר המקורי, השיטה הזו הביאה לשיפור של 1.6% במדד VQA ביחס למה שהיה נהוג לפניה, מה שאומר בפועל דיוק מעט טוב יותר בזיהוי פרטים ספציפיים בתמונה.

הוא מיועד למשימות ממוקדות שבהן מזינים תמונה ושאלה קצרה, ומקבלים תשובה ישירה כמו ספירת פריטים או זיהוי צבעים ועצמים. זה לא מודל שיחה רב שלבי, אלא מנוע נקודתי שמחזיר בדרך כלל מילה או משפט קצר בהתאם לפרומפט.

מתאים ל

• ספירת פריטים בתמונה

  שליפת כמויות מדויקות של עצמים לפי שאלה ישירה באנגלית.

• אימות מאפיינים ויזואליים

  בדיקה אוטומטית של צבע, צורה או נוכחות עצם בתוך קובץ גרפי.

• סינון תוכן מבוסס שאילתות

  בדיקת התאמה מהירה של תמונה להגדרות טקסטואליות בלי מודל ענק.

איפה זה נופל

ההקשר מוגבל ל־512 טוקנים בלבד, כך שאי אפשר לנהל איתו שיחות ארוכות או לתת לו הוראות מורכבות ומפותלות. החוקרים עצמם מציינים שהשחרור נועד לצורכי מחקר ולא נבדק לכל תרחיש קצה, בייחוד במצבים בעלי סיכון גבוה שבהם טעות בזיהוי עלולה לגרום נזק. בנוסף, המודל אינו מאומן לעבודה בעברית ולא יבין שאלות שאינן באנגלית.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון באמצעות BlipProcessor ו־BlipForQuestionAnswering. המשקל שלו עומד על 2.9 ג'יגה בייט, כך שאפשר להריץ אותו אפילו על מעבד רגיל, אם כי זה יהיה אטי. על כרטיס מסך מודרני עם תמיכה ב־float16 הוא תופס מעט זיכרון וירוץ מהר מאוד.

אין כאן צורך לפנות לשירותי ענן יקרים של צד שלישי אם יש לכם שרת פשוט עם כרטיס מסך בסיסי. הריצה המקומית משתלמת במיוחד כשרוצים לשמור על פרטיות התמונות ולא לשלם על כל קריאה בנפרד.

from transformers import pipeline

pipe = pipeline("visual-question-answering", model="Salesforce/blip-vqa-capfilt-large")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h51.5 GB
• pytorch_model.bin1.5 GB
• tokenizer.json711.4 KB
• vocab.txt231.5 KB
• README.md5.5 KB
• config.json4.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json524 B
• preprocessor_config.json445 B
• special_tokens_map.json125 B

הרישיון

רישיון bsd-3-clause הוא רישיון קוד פתוח מתירני מאוד שמאפשר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים המקורית והסרת אחריות מהיוצרים. עם זאת, Salesforce ציינו בכרטיס שהמודל שוחרר למטרות מחקר, ולכן חובה לבדוק התאמה לכללי השימוש שלהם לפני שילוב במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗