blip2-flan-t5-xl

מה זה

הארכיטקטורה כאן מחברת מקודד תמונה שמבוסס על קליפ עם מודל השפה פלאן טי חמש. באמצע יושב רכיב גישור קטן יחסית שממפה את ייצוגי התמונה ישירות למרחב ההבנה של מודל השפה. שני המודלים הגדולים נשארים מוקפאים, והאימון מתמקד רק ברכיב המגשר.

בפועל אתם מזינים תמונה וטקסט, ומקבלים יצירת טקסט מותנית. זה כולל כתיבת כתוביות לתמונה, מענה על שאלות לגבי הפרטים שמופיעים בה, וניהול שיחה בסיסית בהקשר של התמונה. המשקל שלו עומד על כמעט ארבעה מיליארד פרמטרים, מה שמציב אותו בנקודת אמצע סבירה בין יכולות ראייה לבין צריכת זיכרון.

מתאים ל

• תיאור תמונות אוטומטי

  יצירת כתוביות באנגלית לתמונות מוצר או תוכן, הודות לחיבור בין רכיב התמונה למודל השפה.

• מענה לשאלות על מסמכים וגרפים

  חילוץ תשובות קצרות באנגלית מתוך תרשימים ואיורים באמצעות שאלות ישירות על התמונה.

• מחקר וניסוי של רכיבי גישור

  בדיקת ארכיטקטורת המגשר ללא צורך באימון מודל שפה שלם מאפס.

איפה זה נופל

זהו צ'קפוינט בסיסי שעבר אימון ראשוני בלבד, ללא התאמה עדינה למשימות קצה ספציפיות. המפתחים מבהירים שהוא לא נבדק בסביבות אמת, ומזהירים במפורש לא לפרוס אותו ישירות במוצרים בלי בדיקות בטיחות קפדניות.

האימון נעשה על מאגרי מידע מהרשת הפתוחה כמו לאיון, ולכן הוא נוטה לשחזר הטיות ופלט לא הולם. בנוסף, הוא תומך באנגלית בלבד, כך שאין מה לבנות עליו לעבודה בעברית ללא תרגום מקדים.

איך מריצים

הקבצים שוקלים 29.4 גיגה בייט ומגיעים בדיוק של שלושים ושניים ביט. אם תנסו לטעון אותו ככה תצטרכו כרטיס מסך כבד מאוד, או שתריצו על המעבד הראשי ותחכו הרבה זמן לכל תשובה. בפועל עדיף לטעון אותו בעזרת ספריית אקסלרייט בחצי דיוק או בקוונטיזציה של שמונה ביט כדי לדחוס אותו לכרטיס מסך ממוצע עם פחות זיכרון.

אם אתם צריכים תגובות בזמן אמת עבור משתמשי קצה ואין לכם שרת ייעודי עם מעבד גרפי חזק, להחזיק אותו עצמאית יעלה לא מעט. במקרה כזה כדאי לחשוב על שירות מנוהל חיצוני במקום להתעסק עם תשתיות כבדות.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="Salesforce/blip2-flan-t5-xl")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 29.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00001-of-00002.bin9.4 GB
• pytorch_model-00002-of-00002.bin6.3 GB
• model-00002-of-00002.safetensors5.8 GB
• tokenizer.json2.4 MB
• spiece.model791.7 KB
• pytorch_model.bin.index.json128.1 KB
• model.safetensors.index.json127.9 KB
• tokenizer_config.json21.0 KB
• README.md7.2 KB
• special_tokens_map.json2.5 KB
• config.json2.2 KB
• .gitattributes1.5 KB
• preprocessor_config.json432 B
• generation_config.json168 B
• processor_config.json68 B
• added_tokens.json23 B

הרישיון

הרישיון המדווח הוא רישיון אם אי טי. הוא מאפשר שימוש מסחרי, שינוי של הקוד והפצה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. עם זאת, היוצרים מציינים בכרטיס שהשחרור נועד למטרות מחקר ומפנים לתנאי שימוש נוספים, כך שכדאי לוודא שאין התנגשות לפני שילוב בקוד מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗