blip2-opt-2.7b

מה זה

הארכיטקטורה כאן מחברת מקודד תמונה בסגנון CLIP יחד עם מודל השפה OPT-2.7b של מטא, באמצעות רכיב מגשר בשם Q-Former. במקום לאמן מודל ענק מאפס, החוקרים הקפיאו את משקלי הראייה ואת מודל השפה, ואימנו רק את רכיב התיווך שממיר את ייצוגי התמונה לטוקנים שהשפה מבינה. המטרה פשוטה: לחזות את הטוקן הבא בטקסט על בסיס התמונה והשאלה שהוזנה.

הוא מסוגל לייצר תיאורי תמונה, לענות על שאלות חזותיות ולנהל שיחה קצרה על תוכן התמונה כשמזינים לו את היסטוריית השיחה כפרומפט. מדובר בגרסת בסיס שלא עברה כוונון עדין למשימה ספציפית, כך שהיא מתאימה בעיקר כנקודת מוצא למחקר או לפיתוח נוסף.

מתאים ל

• מענה על שאלות מתמונה

  מאפשר לשאול שאלות ממוקדות על פרטים בתמונה ולקבל תשובה טקסטואלית באנגלית.

• יצירת תיאורים לתמונות

  מייצר כתוביות תיאוריות עבור מאגרי מדיה שדורשים קטלוג אוטומטי זול.

• בדיקות ראייה ממוחשבת במעבדה

  מתאים לניסויי מחקר מקומיים בזכות היכולת לרוץ על זיכרון נמוך בכימות 4-bit.

איפה זה נופל

היוצרים מדגישים שהמודל לא נבדק ביישומים בעולם האמיתי ולא מיועד לפריסה ישירה במערכות חיות. הוא אומן על נתונים מהרשת, כמו מאגר LAION, ולכן עלול לייצר תוכן לא הולם או להעתיק הטיות קיימות. בנוסף, הוא יורש את כל הבעיות של מודל השפה OPT, כולל הזיות וחוסר גיוון ביצירת טקסט. הנתונים מוגדרים באנגלית בלבד, כך שאין מה לבנות עליו לעיבוד תמונות עם טקסט בעברית.

אותה משפחה

blip2-opt יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל רץ ישירות דרך ספריית transformers בפייתון, עם תמיכה בהרצה על מעבד או כרטיס גרפי. בדרישות זיכרון מלאות של float32 הוא תופס 14.43 ג'יגה בייט בזיכרון, אבל כמעט אף אחד לא מריץ אותו ככה בייצור.

בפועל, בשימוש בחצי דיוק float16 אפשר לרדת ל־7.21 ג'יגה בייט, ובאמצעות כימות ל־int8 או int4 דרך bitsandbytes נפח הזיכרון צונח ל־3.61 ג'יגה בייט או 1.8 ג'יגה בייט בלבד. המשמעות היא שאפשר לדחוף אותו בקלות לכרטיס מסך ביתי וזול, בלי צורך בתשתיות ענן יקרות או קריאות לרשת חיצונית.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="Salesforce/blip2-opt-2.7b")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 28.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00002-of-00002.bin5.5 GB
• model-00002-of-00002.safetensors5.0 GB
• tokenizer.json3.6 MB
• vocab.json798.3 KB
• merges.txt456.3 KB
• pytorch_model.bin.index.json121.7 KB
• model.safetensors.index.json121.7 KB
• README.md8.1 KB
• .gitattributes1.5 KB
• config.json1.0 KB
• tokenizer_config.json882 B
• special_tokens_map.json548 B
• preprocessor_config.json432 B
• generation_config.json141 B
• processor_config.json68 B
• added_tokens.json23 B

הרישיון

רישיון MIT פתוח ומתירני מאוד. אתם רשאים להשתמש בקוד ובמשקלים לצרכים פרטיים ומסחריים, לשנות אותם ולהפיץ הלאה, כל עוד אתם שומרים על הודעת זכויות היוצרים המקורית. עם זאת, יוצרי המודל ציינו בתיעוד שהשחרור נועד למטרות מחקר וממליצים לבדוק בטיחות לפני שמשלבים אותו במוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗