nomic-embed-vision-v1.5

מה זה

מדובר במודל של 93 מיליון פרמטרים שמחלץ וקטורים מתמונות, ויושב בדיוק באותו מרחב ייצוג של nomic-embed-text-v1.5. הרעיון כאן הוא חיבור ישיר לטקסט, אימנו אותו בשיטה שנועלת את מודל הטקסט ומתאימה את רשת הראייה אליו, כך שאפשר להשוות תמונה למחרוזת בלי שלבי תיווך.

במבחנים הוא עוקף את CLIP של OpenAI בגרסת ViT B/16, עם ציון של 71.0 לעומת 68.3 ב־Imagenet 0-shot, וציון של 62.28 ב־MTEB מול 43.82. זה אומר שבפועל מקבלים דיוק חיפוש וסיווג גבוהים יותר ממודל הבסיס הנפוץ של OpenAI, בתוך משקל קובצי משקל של 1.2 גיגה בלבד.

מתאים ל

• חיפוש תמונות לפי טקסט

  הוא חולק מרחב וקטורי עם מודל הטקסט, מה שמאפשר להזין שאילתה באנגלית ולקבל תמונות תואמות מיד.

• סיווג תמונות מהיר

  הוא מגיע ל־71.0 ב־Imagenet 0-shot, ולכן מתאים למיון תמונות לקטגוריות בלי אימון מחדש.

• שליפת מידע במערכות RAG

  הוא מאפשר לאנדקס תמונות מתוך מסמכים ולשלוף אותן בצורה ישירה על בסיס שאלות טקסטואליות.

איפה זה נופל

המודל אומן והוגדר עבור השפה האנגלית בלבד, כך שחיפוש טקסט מול תמונה בעברית לא יעבוד בצורה סבירה בלי מודל תרגום באמצע. בנוסף, מי שבונה עליו לחיפוש חייב לזכור שמודל הטקסט המקביל דורש קידומת ייעודית של search_query בשאילתות, ואם תשכחו אותה איכות ההתאמה תרד משמעותית. עוד נקודה היא שציוני MTEB של גרסה 1.5 מעט נמוכים מגרסה 1, 62.28 לעומת 62.39, מה שמראה שלא בכל משימה הוא שיפור מוחלט.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers עם שימוש ב־trust_remote_code, או שולחים קריאות דרך ספריית nomic אם מעדיפים את ה־API המנוהל שלהם. בגלל הגודל הקומפקטי שלו, הוא לא דורש כרטיסי מסך מפלצתיים ויכול לרוץ מקומית בלי בעיה על מעבד רגיל או GPU בסיסי וזול בייצור.

אם אתם צריכים לאנדקס מיליוני תמונות בבת אחת ואין לכם שרת ייעודי שפועל כל הזמן, פנייה ל־API של החברה תחסוך תחזוקת תשתית. לעומת זאת, אם יש לכם זרם תמונות רציף באפליקציה, המשקל הזעיר מצדיק לחלוטין הרצה עצמאית בשרת שלכם כדי לחסוך עלויות תעבורה ושיהוי.

from transformers import pipeline

pipe = pipeline("image-feature-extraction", model="nomic-ai/nomic-embed-vision-v1.5")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx374.5 MB
• model.safetensors371.8 MB
• onnx/model_fp16.onnx187.4 MB
• onnx/model_uint8.onnx96.7 MB
• onnx/model_int8.onnx96.7 MB
• onnx/model_quantized.onnx96.7 MB
• onnx/model_q4.onnx62.0 MB
• onnx/model_bnb4.onnx56.2 MB
• README.md4.8 KB
• config.json2.1 KB
• .gitattributes1.5 KB
• preprocessor_config.json791 B

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי לגמרי, כולל מסחרי וכולל הטמעה במוצר סגור. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗