text2vec-base-multilingual

מה זה

מדובר במודל מבוסס ארכיטקטורת BERT עם 12 שכבות שממיר משפטים לווקטורים ומכוון למשימות של דמיון סמנטי, סיווג וחיפוש. הוא מאומן על נתוני NLI בסינית אך תומך גם באנגלית, גרמנית, צרפתית, איטלקית, הולנדית, פורטוגזית ופולנית, ומאפשר השוואה ישירה בין שפות שונות בתוך אותו מרחב וקטורי.

במבחני MTEB התוצאות שלו מעורבות. בסיווג כוונות הוא מציג דיוק סביר שנע סביב 50 עד 63 אחוז בשפות שונות, וסיווג תחומים באנגלית עומד על 81 אחוז. לעומת זאת, בסיווג ביקורות אמזון רב לשוני הוא קורס לדיוק של כ־30 עד 34 אחוז בלבד, מה שמראה שהוא מתקשה מאוד בניתוח סנטימנט או הבנת טקסט מורכב.

מתאים ל

• זיהוי כוונות בצ'אטבוט

  ממיר שאלות משתמשים לווקטורים לצורך ניתוב מהיר מול תבניות קבועות.

• סינון כפילויות תמיכה

  מוצא שאלות חופפות במאגרי ידע באנגלית או בסינית בדיוק סביר.

• סיווג טקסטים מהיר

  משמש כשכבת וקטורים קלה למודלי סיווג פשוטים שרצים על מעבד רגיל.

איפה זה נופל

החלון מוגבל ל־512 טוקנים, ולכן הוא לא מתאים לפסקאות ארוכות או למאמרים. הבעיה העיקרית למפתח ישראלי היא שהרשימה הרשמית לא כוללת עברית, ולמרות שבמבחן massive intent נרשם דיוק של 51 אחוז בעברית, לא הייתי בונה עליו למוצר מקומי בלי בדיקה יסודית. מעבר לכך, התוצאות שלו בקלאסטרינג ודירוג מחדש נמוכות, עם מדדי v-measure שנעים סביב 23 עד 32 נקודות.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers בפייתון בשתי שורות קוד, בלי צורך בהגדרות מיוחדות. המשקל הכולל של הקבצים עומד על 1.4 גיגה בייט בדיוק של float32, כך שכל מעבד מודרני מריץ אותו בקלות בלי לחשוב בכלל על כרטיס מסך ייעודי.

אם יש לכם שרת מקומי עם מעט זיכרון עבודה, הוא יעבוד שם חלק לגמרי. תעברו לשירות ענן בתשלום רק אם אתם צריכים לטפל במסמכים ארוכים או בעברית, כי המודל הזה לא נבנה עבורם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("shibing624/text2vec-base-multilingual")
v = m.encode(["שלום עולם"])

הקבצים

19 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin470.7 MB
• model.safetensors470.6 MB
• onnx/model.onnx470.3 MB
• onnx/tokenizer.json17.1 MB
• tokenizer.json17.1 MB
• onnx/unigram.json14.8 MB
• unigram.json14.8 MB
• README.md88.5 KB
• .gitattributes1.6 KB
• onnx/tokenizer_config.json1.4 KB
• onnx/special_tokens_map.json964 B
• config.json701 B
• onnx/config.json679 B
• tokenizer_config.json496 B
• special_tokens_map.json280 B
• modules.json229 B
• 1_Pooling/config.json190 B
• eval_results.txt69 B
• sentence_bert_config.json53 B

הרישיון

רישיון apache-2.0 חופשי לחלוטין. מותר להשתמש בו במוצרים מסחריים, לשנות את המשקלים ולהפיץ אותו הלאה בחינם או בתשלום. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בהפצה שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗