jina-clip-v2

מה זה

הוא מורכב משני חלקים, מקודד טקסט של 561 מיליון פרמטרים שמבוסס על רוברטה ומקודד תמונה של 304 מיליון פרמטרים מסוג EVA02. השילוב הזה נותן סך של 865 מיליון פרמטרים. ההבדל המשמעותי לעומת הגרסה הראשונה הוא התמיכה בטקסטים של עד 8,192 טוקנים במקום קטעים קצרים, והעלאת רזולוציית התמונה ל־512 על 512 פיקסלים. בנוסף, יש לו תמיכה בייצוג מטריושקה, מה שאומר שאפשר לחתוך את הווקטור מ־1,024 ממדים עד ל־64 ממדים כדי לחסוך מקום במסד הנתונים.

במדדים של חיפוש תמונות רב-לשוני הוא מציג שיפור של עד 4 אחוזים מול nllb-clip-large-siglip, ושיפור של 3 אחוזים מול הגרסה הקודמת שלו. זה אומר שבפועל, אם אתם מחפשים תמונה לפי תיאור בשפה שאינה אנגלית, הוא ימצא התאמות מדויקות יותר ויפספס פחות פרטים חזותיים עדינים.

מתאים ל

• חיפוש תמונות רב-לשוני

  מאפשר לאתר תמונות באמצעות תיאור טקסטואלי חופשי בעשרות שפות שונות, בלי צורך לתרגם קודם לאנגלית.

• אינדוקס קטלוג מוצרים

  מתאים לחיבור בין תמונות מוצר ברזולוציה בינונית לבין תיאורים טכניים ארוכים של עד 8,192 טוקנים.

• צמצום מסדי נתונים וקטוריים

  שימוש במטריושקה לחיתוך הווקטורים ל־64 או 128 ממדים חוסך שטח אחסון ומאיץ את זמן השליפה.

איפה זה נופל

למרות השדרוג ל־512 על 512 פיקסלים, רזולוציה כזו עדיין מוגבלת. פרטים קטנים מאוד בתמונות מורכבות, כמו טקסט זעיר בתוך צילומי מסמכים או חפצים מרוחקים, ילכו לאיבוד בגלל חלוקת הפאצ'ים של 14 על 14. בנוסף, למרות התמיכה ב־89 שפות, הביצועים לא זהים בכולן, ושפות עם מעט נתוני אימון יתנו תוצאות חלשות משמעותית מאנגלית.

אותה משפחה

jina-clip יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל שוקל 13.9 גיגה-בייט ומגיע בדיוק של bfloat16. כדי להריץ אותו מקומית באופן יעיל צריך כרטיס מסך עם לפחות 16 גיגה-בייט של זיכרון, יחד עם התקנה של FlashAttention2 למקודד הטקסט ו־xFormers למקודד התמונה. אפשר להריץ אותו דרך ספריית transformers בפייתון או אפילו ב־transformers.js בדפדפן וב־Node.

אם אין לכם כרטיס ייעודי בשרת או שמדובר בפרויקט קטן, החברה מציעה גישה ב־API בענן דרך AWS, Azure ו־GCP. להרים שרת GPU פרטי בשביל מודל כזה שווה בעיקר אם יש לכם נפח שאילתות קבוע שמצדיק את העלות החודשית.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="jinaai/jina-clip-v2")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 13.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx_data3.5 GB
• pytorch_model.bin1.7 GB
• model.safetensors1.7 GB
• onnx/model_fp16.onnx1.7 GB
• onnx/model_q4.onnx1.4 GB
• onnx/model_bnb4.onnx1.4 GB
• onnx/model_quantized.onnx874.4 MB
• onnx/model_uint8.onnx874.4 MB
• onnx/model_int8.onnx874.4 MB
• onnx/model_q4f16.onnx861.0 MB
• tokenizer.json17.1 MB
• onnx/model.onnx2.1 MB
• README.md17.5 KB
• custom_st.py12.1 KB
• config.json2.2 KB
• .gitattributes1.7 KB
• tokenizer_config.json1.1 KB
• special_tokens_map.json964 B
• preprocessor_config.json584 B
• config_sentence_transformers.json281 B
• modules.json273 B

הרישיון

הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד. מותר להוריד, להריץ ולעשות מחקר או ניסויים פנימיים. אם אתם רוצים לשלב אותו במוצר שמייצר הכנסה או מוצע ללקוחות, אסור להריץ את המשקלים האלה בלי לקנות רישיון מסחרי מ־Jina AI, או לחלופין לשלם על השימוש ב־API שלהם.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗