clip-ViT-B-32-multilingual-v1

מה זה

מדובר בגרסה רב לשונית של מודל CLIP המקורי של OpenAI, שממפה תמונות וטקסט לאותו מרחב וקטורי. המפתחים לקחו את מקודד התמונות הרגיל מגרסת ViT-B-32 והשאירו אותו ללא שינוי, אבל החליפו את מקודד הטקסט ברשת DistilBERT רב לשונית שעברה זיכוך ידע. התוצאה מאפשרת להזין טקסט בעברית או בשפות אחרות ולקבל וקטור שתואם לווקטור של התמונה.

הייחוד כאן הוא התמיכה הישירה בחיפוש תמונות וסיווג תמונות ללא אימון מוקדם על בסיס תוויות טקסט בלבד. במקום לתחזק שרת תרגום נפרד שמעביר כל שאילתה לאנגלית כדי לעבוד עם קליפ המקורי, המודל הזה מבצע את ההתאמה ישירות מהטקסט המקורי.

מתאים ל

• חיפוש תמונות בעברית

  חיפוש תמונות ישיר לפי תיאור חופשי בעברית, ללא צורך במנוע תרגום מתווך.

• סיווג תמונות ללא אימון

  חלוקת תמונות לקטגוריות לפי תוויות טקסט חופשיות ביותר מחמישים שפות שונות.

• התאמת תיאורים לתמונות

  בדיקת מידת ההתאמה בין טקסט שמשתמש כתב לבין תמונה שהועלתה במאגר.

איפה זה נופל

למרות שארכיטקטורת הבסיס מאפשרת הקשר ארוך יותר, הגדרת האורך המרבי של הרצף כאן מוגבלת למאה עשרים ושמונה טוקנים בלבד. הוא לא מיועד לפסקאות ארוכות או לתיאורי תמונות מפורטים מדי, אלא למשפטים קצרים ולשאילתות חיפוש. בנוסף, המודל אומן מול חמישים פלוס שפות שנבחרו מראש, כך שעבור שאר השפות שמודל הבסיס מכיר הביצועים עלולים להיות חלשים משמעותית.

איך מריצים

טוענים ומריצים אותו בקלות דרך ספריית sentence-transformers בפייתון. הוא שוקל כחמישה גיגה בייט ומבוסס על 135 מיליון פרמטרים בחלק של הטקסט, כך שאפשר להריץ אותו בלי בעיה על מעבד רגיל, אם כי לעיבוד כמויות גדולות של תמונות או חיפושים בזמן אמת עדיף כרטיס מסך בסיסי.

אם אתם רק בודקים את הכיוון על כמה עשרות תמונות ביום, אולי עדיף להשתמש בפתרון ענן מוכן במקום לנהל שרת עצמאי. ברגע שמדובר במערכת פנימית עם מאגר תמונות גדול ורגיש, הגודל שלו צנוע מספיק כדי להרים אותו מקומית ולשמור על שליטה מלאה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("sentence-transformers/clip-ViT-B-32-multilingual-v1")
v = m.encode(["שלום עולם"])

הקבצים

30 קבצים במאגר, 4.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5539.1 MB
• onnx/model.onnx539.0 MB
• onnx/model_O1.onnx539.0 MB
• pytorch_model.bin539.0 MB
• onnx/model_O3.onnx539.0 MB
• onnx/model_O2.onnx539.0 MB
• model.safetensors538.9 MB
• openvino/openvino_model.bin538.9 MB
• onnx/model_O4.onnx269.5 MB
• openvino/openvino_model_qint8_quantized.bin135.7 MB
• onnx/model_quint8_avx2.onnx135.4 MB
• onnx/model_qint8_arm64.onnx135.3 MB
• onnx/model_qint8_avx512.onnx135.3 MB
• onnx/model_qint8_avx512_vnni.onnx135.3 MB
• tokenizer.json2.0 MB
• 2_Dense/pytorch_model.bin1.6 MB
• 2_Dense/model.safetensors1.6 MB
• vocab.txt995.5 KB
• openvino/openvino_model_qint8_quantized.xml372.5 KB
• openvino/openvino_model.xml217.5 KB
• README.md5.6 KB
• .gitattributes744 B
• config.json572 B
• tokenizer_config.json371 B
• modules.json341 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json122 B
• 2_Dense/config.json115 B
• special_tokens_map.json112 B
• sentence_bert_config.json53 B

הרישיון

המודל מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗