jina-embeddings-v2-base-zh

מה זה

מדובר במודל מבוסס JinaBert עם 161 מיליון פרמטרים, שמתמקד בחילוץ מאפיינים וטקסט דו־לשוני בסינית ובאנגלית. רוב מודלי ה־BERT בגודל הזה מוגבלים לחלון קצר בהרבה, כך שהיתרון הבולט כאן הוא היכולת לעבד טקסטים ארוכים במיוחד בלי לפגוע בהקשר הרחב של המסמך.

במבחני C-MTEB הוא מציג תוצאות מעורבות. באחזור ודירוג מחדש הוא מגיע לציונים גבוהים, כמו MRR של 86.1 במאגר הרפואי CMedQA ושל 91.7 ב־DuRetrieval, שמעידים על דיוק חזק במציאת תשובות רלוונטיות. מצד שני, במשימות סיווג כמו ביקורות אמזון הוא מקבל דיוק של 34.94% בלבד, כך שלא הייתי בונה עליו לקטלוג אוטומטי מורכב.

מתאים ל

• אחזור מידע ממסמכים בסינית

  הוא מגיע ל־MRR של מעל 91 במבחני שליפה בסינית ויודע לקרוא טקסטים ארוכים בבת אחת.

• דירוג מחדש בתחום הרפואי

  עם ציון של 83.7 במדד MAP על CMedQAv2, הוא מתאים מאוד לסינון תוצאות חיפוש מקצועיות.

• סיווג טקסטים קצרים מאתרי קניות

  במבחן ביקורות הקניות JDReview הוא השיג 79.5% דיוק, שמתאים למיון משובים בסינית.

איפה זה נופל

אם אתם מחפשים מודל שיטפל בעברית, דלגו הלאה. הוא אומן אך ורק על סינית ואנגלית, ואין לו מושג מה לעשות עם שפות שמיות. מעבר למגבלת השפה, תוצאות ה־STS שלו בחלק מהמבחנים נמוכות, למשל ציון פירסון של 35.4 בלבד ב־QBQTC ושל 37.5 ב־PAWSX, מה שאומר שהוא מתקשה בזיהוי ניואנסים עדינים של דמיון סמנטי במשפטים קצרים ומבלבל בין ניסוחים דומים שמשמעותם שונה לחלוטין.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.6 גיגה־בייט בדיוק של float16, כך שאפשר להריץ אותו בקלות על כרטיס מסך ביתי בסיסי או אפילו על מעבד שרת סטנדרטי בלי לחנוק את הזיכרון. הטעינה נעשית ישירות דרך ספריית sentence-transformers, ומכיוון שמדובר בארכיטקטורת JinaBertModel, צריך לוודא שהסביבה שלכם תומכת בקוד המודל.

אפשר גם להריץ אותו בצד לקוח עם transformers.js בזכות המשקל הנמוך. אין צורך לשלם על API חיצוני כשמדובר במודל כזה קטן, אלא אם אתם מתמודדים עם תעבורה ענקית של מסמכים בני 8,000 טוקנים ולא רוצים לנהל את משאבי המחשוב בעצמכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("jinaai/jina-embeddings-v2-base-zh")
v = m.encode(["שלום עולם"])

הקבצים

17 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx641.2 MB
• pytorch_model.bin321.7 MB
• model.safetensors321.6 MB
• onnx/model_fp16.onnx320.9 MB
• onnx/model_quantized.onnx161.6 MB
• tokenizer.json2.0 MB
• vocab.json854.4 KB
• merges.txt336.1 KB
• README.md34.0 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• tokenizer_config.json1.2 KB
• modules.json349 B
• special_tokens_map.json280 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json117 B
• sentence_bert_config.json99 B

הרישיון

המודל שוחרר תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצר סגור בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗