GPT
הוספת כלי
B

blip-image-captioning-base

קוד פתוח

Salesforcebsd-3-clause2022-12-12

  • transformers
  • pytorch
  • tf
  • blip
  • image-text-to-text

פתרון קל וזריז שמייצר תיאורי תמונה קצרים באנגלית בלי לשרוף תקציב על כרטיסי מסך כבדים. הוא ותיק, מוכח בשטח ומתאים למי שצריך תיוג אוטומטי פשוט ויציב.

  • 512טוקנים בהקשר
  • 1.8 GBמשקל הקבצים
  • 1,832,246הורדות בחודש
  • 889לייקים

מה זה

מדובר במודל שמקבל תמונה ומחזיר טקסט שמתאר מה רואים בה, עם תמיכה בתיאור חופשי או מותנה בטקסט מקדים. המבנה שלו נשען על ארכיטקטורת ViT בסיסית ואומן על מאגר COCO, כשהחידוש שהחוקרים הציגו היה שימוש בסינון וייצור של כיתובים סינתטיים כדי לנקות דאטה מלוכלך מהרשת.

בבדיקות שלהם הוא הציג שיפור של 2.8 נקודות במדד CIDEr לתיאור תמונות ועלייה של מעל שני אחוזים בשליפת תמונה מטקסט לעומת מה שהיה מקובל אז. זה אומר שבמשימות תיאור ישירות הוא פוגע במדויק באובייקטים המרכזיים, בלי להמציא יותר מדי פרטים שלא קיימים בפריים.

מתאים ל

  • תיוג תמונות למנוע חיפוש

    מייצר טקסט קצר על תוכן התמונה כדי לאנדקס אותה בבסיס נתונים לחיפוש טקסטואלי חופשי.

  • יצירת טקסט חלופי לנגישות

    מפיק תיאור ישיר של האובייקטים בתמונה עבור תגיות alt באתרי אינטרנט.

  • מיון ראשוני של מאגרי מדיה

    רץ מהר ובזול על כמויות עצומות של קבצים כדי לחלק אותם לקטגוריות כלליות.

איפה זה נופל

הוא אומן על דאטה כללי באנגלית ולא מבין עברית בכלל. בנוסף, הכותבים מצהירים במפורש שהוא שוחרר לצורכי מחקר ולא עבר בדיקות בטיחות, הוגנות ודיוק לתרחישי קצה. הוא מוגבל להקשר קצר של 512 טוקנים, כך שאי אפשר לצפות ממנו לניתוחים מעמיקים, מסמכים מורכבים או זיהוי פרטים טכניים עדינים.

שאלות
נפוצות

האם אפשר לקבל תיאורים בעברית?

לא ישירות. המודל פולט אנגלית בלבד, ולכן אם המערכת שלכם דורשת עברית תצטרכו להעביר את הפלט דרך שכבת תרגום נפרדת.

האם הוא מסוגל לענות על שאלות מורכבות לגבי תמונה?

לא בצורה אמינה. מדובר בגרסת בסיס שמיועדת בעיקר לכיתוב פשוט של מה שנראה בעין, ולא במודל שיחה רב-מודאלי שמסוגל להסיק מסקנות עמוקות.

איך מריצים

במשקל של 1.8 גיגה בייט בלבד, קל מאוד להרים אותו מקומית. אפשר להריץ אותו דרך ספריית transformers ישירות על מעבד רגיל, אבל בייצור עדיף מעבד גרפי פשוט עם כמה גיגה בייט בודדים של זיכרון, במיוחד אם מריצים אותו בחצי דיוק כדי לקצר זמנים.

אם יש לכם כמות קטנה של תמונות לעבד פעם ב, אין סיבה להחזיק שרת דלוק ועדיף לשלוח בקשות לנקודת קצה מנוהלת. שרת עצמאי הופך למשתלם ברגע שצריך לתייג עשרות אלפי תמונות ברצף בלי לשלם על כל קריאה.

from transformers import pipeline

pipe = pipeline("image-to-text", model="Salesforce/blip-image-captioning-base")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון bsd-3-clause מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים של Salesforce ונוסח הרישיון, בלי להשתמש בשם שלהם לקידום המוצר שלכם. שימו לב שהחוקרים הוסיפו בכרטיס הסתייגות אתית לגבי שימוש בייצור.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗