GPT
הוספת כלי
B

blip-image-captioning-large

קוד פתוח

Salesforcebsd-3-clause2022-12-13

  • transformers
  • pytorch
  • tf
  • safetensors
  • blip

פתרון קומפקטי שמייצר תיאורי תמונה באנגלית בלי לגעת במודלי ענק. הוא שוקל מעט ורץ מהר על מעבד או כרטיס גרפי פשוט.

  • 470Mפרמטרים
  • 512טוקנים בהקשר
  • 5.3 GBמשקל הקבצים
  • 499,166הורדות בחודש

מה זה

מדובר במודל ראייה ושפה שמאומן על מאגר COCO, ומיועד להמיר תמונות לטקסט. הוא נבנה כדי להתמודד עם הרעש המובנה בנתוני תמונה וטקסט שנאספים מהרשת, באמצעות מנגנון שמייצר תיאורים סינתטיים ומסנן כיתובים לא מתאימים.

בגודל של 470 מיליון פרמטרים וארכיטקטורת ViT large, הוא תומך בשני מצבי עבודה: יצירת תיאור חופשי לחלוטין מתמונה, או תיאור מותנה שמתחיל מהנחיית טקסט קצרה שאתם מספקים לו. החוקרים מדווחים על שיפור של 2.8% במדד CIDEr ביצירת כיתובים ושיפור של 1.6% בציון VQA לעומת שיטות קודמות, מה שאומר תיאורים מדויקים יותר ופחות הזיות על עצמים שלא קיימים בפריים.

מתאים ל

  • תיוג תמונות לנגישות

    יצירת טקסט חלופי קצר ומדויק לאתרי אינטרנט ישירות מהתמונה, בלי להסתמך על תגיות ידניות.

  • אינדוקס קטלוג ויזואלי

    חילוץ תיאורי טקסט ממאגרי תמונות כדי לאפשר חיפוש טקסטואלי מהיר בלי לעבור על כל קובץ.

  • סינון והשלמת נתונים

    ייצור כיתובים אוטומטיים לדאטהסטים גדולים כדי לנקות או להעשיר נתוני אימון למודלים אחרים.

איפה זה נופל

הכרטיס מבהיר במפורש שהשחרור מיועד לצורכי מחקר ולא עבר התאמה או בדיקות לכל שימוש קצה. לא הייתי סומך עליו במערכות קריטיות שמשפיעות ישירות על בטיחות או זכויות של אנשים. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, כך שהוא לא בנוי לניתוחים ארוכים או מורכבים, אלא להפקת משפטים קצרים וממוקדים בלבד.

שאלות
נפוצות

האם אפשר להריץ אותו על מעבד רגיל בלי כרטיס מסך?

כן, הקוד מספק תמיכה מובנית בריצה על CPU. זה ייקח קצת יותר זמן לכל תמונה לעומת GPU, אבל למשימות אופליין או אצוות קטנות זה עובד בלי צורך בחומרה יקרה.

איך מכוונים אותו לכתוב תיאור בסגנון מסוים?

אפשר להשתמש במצב של כיתוב מותנה. אתם מעבירים מחרוזת טקסט ראשונית יחד עם התמונה, והמודל משלים את התיאור בהתאם להנחיה שהגדרתם.

איך מריצים

כדי להריץ אותו צריך רק את ספריית transformers ו־PyTorch. המודל שוקל 5.3 גיגהבייט בדיוק float32, כך שכרטיס מסך פשוט עם 6 עד 8 גיגהבייט זיכרון יספיק בלי בעיה, ואפשר להריץ אותו אפילו ישירות על המעבד אם זמני תגובה אינם קריטיים.

אם אין לכם כרטיס מסך פנוי ואתם צריכים עיבוד של מיליוני תמונות ביום, הקמה ותחזוקה של שרתים ייעודיים תדרוש עבודה, ושירות ענן מנוהל יכול להיות פשוט יותר. אבל לרוב השימושים הפנימיים, המשקל הנמוך מאפשר להריץ אותו מקומית בלי סיבוכים.

from transformers import pipeline

pipe = pipeline("image-to-text", model="Salesforce/blip-image-captioning-large")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 5.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות מופצים תחת רישיון bsd-3-clause. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית וכתב הוויתור, ובלי להשתמש בשם של Salesforce לקידום המוצר שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗