GPT
הוספת כלי
B

blip-vqa-base

קוד פתוח

Salesforcebsd-3-clause2022-12-12

  • transformers
  • pytorch
  • tf
  • safetensors
  • blip

הוא עונה על שאלות מתוך תמונות עם 385 מיליון פרמטרים בלבד. פתרון ממוקד וקומפקטי כשצריך תשובה נקודתית על תוכן ויזואלי בלי להרים מודל ענק.

  • 385Mפרמטרים
  • 512טוקנים בהקשר
  • 4.3 GBמשקל הקבצים
  • 658,892הורדות בחודש

מה זה

מדובר במודל Visual Question Answering שמבוסס על ארכיטקטורת ViT יחד עם רכיב שפה, ושוקל כ־4.3 גיגה-בייט על הדיסק בפורמט float32 המקורי. הרעיון המרכזי מאחוריו נשען על שיטת אימון שמייצרת ומסננת כיתובים באופן סינתטי כדי לנקות דאטה רועש מהרשת, במקום להסתמך רק על סטים ידניים יקרים.

לפי המאמר, הגישה הזו הביאה לשיפור של 1.6% במדד VQA ביחס למודלים מקבילים בזמן פרסומו בסוף 2022. זה אומר שהוא מצליח לחלץ תשובות קצרות, כמו ספירת אובייקטים או זיהוי צבעים ופעולות, ברמת דיוק גבוהה יותר מאשר מודלים ישנים שלא שילבו הבנה וג'נרוט תחת אותה מסגרת.

מתאים ל

  • מענה על שאלות מתמונות

    שליפת עובדות בסיסיות מתוך תמונה, כמו כמות פריטים או זיהוי עצמים, ישירות מתוך שאילתה באנגלית.

  • סינון ואימות תוכן ויזואלי

    בדיקה אוטומטית אם אלמנט מסוים מופיע בתמונה שהועלתה, לצורכי בקרת איכות מהירה.

  • עוזר ויזואלי מקומי

    הטמעה מקומית במכשיר או שרת פנימי ללא תלות ברשת, בזכות גודל קטן של 385 מיליון פרמטרים.

איפה זה נופל

המודל מוגבל לחלון הקשר של 512 טוקנים, כך שהוא לא מיועד לניתוח טקסטים ארוכים או להסקת מסקנות מורכבת. בכרטיס המודל מובהר שהוא שוחרר למטרות מחקר ולא נבדק למקרי קצה בייצור, בדגש על תרחישים שבהם טעות עלולה לפגוע בבטיחות או בזכויות. בנוסף, חומר האימון התבסס על רשת באנגלית, כך שאין כאן תמיכה מובנית בעברית.

שאלות
נפוצות

האם המודל מבין שאלות בעברית?

המודל אומן על נתונים באנגלית בלבד. אם תשלחו לו שאלה בעברית הוא כנראה ייכשל או יחזיר פלט משובש, לכן מומלץ לתרגם את השאילתה לאנגלית לפני ההרצה.

אפשר להריץ אותו בלי כרטיס מסך ייעודי?

כן, המודל רץ גם על מעבד רגיל באמצעות ספריית transformers. עם זאת, אם אתם רוצים זמני תגובה מהירים למשתמש קצה, כדאי להריץ אותו על GPU בפורמט float16.

איך מריצים

כדי להריץ אותו צריך רק את ספריית transformers וקוד פייתון קצר. המשקל שלו מאפשר להעלות אותו על מעבד רגיל, אבל על GPU עם חצי דיוק (float16) הוא תופס מעט מאוד זיכרון וידאו ומחזיר תוצאה כמעט מיידית.

אם אתם צריכים רק לבדוק תמונה פעם בכמה שעות, אין טעם לתחזק שרת משלכם ואפשר לגשת ל־API חיצוני. אם יש לכם זרם רציף של שאילתות על תמונות, כרטיס גרפי צנוע יחזיק אותו בקלות ובעלות נמוכה מאוד.

from transformers import pipeline

pipe = pipeline("visual-question-answering", model="Salesforce/blip-vqa-base")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 4.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא bsd-3-clause, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי והפצה. התנאים העיקריים הם שמירה על הודעת זכויות היוצרים ואיסור להשתמש בשם של Salesforce כדי לקדם את המוצר שלכם בלי אישור מראש.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗