e5-base-v2

מה זה

מדובר במודל מבוסס BertModel עם 12 שכבות וכמאה ותשעה מיליון פרמטרים, שממיר קטעי טקסט לוקטורים לצורך השוואת דמיון, סיווג ואחזור מידע. הוא מתחרה ישירות במודלים ותיקים ממשפחת MiniLM או MPNet, אבל מציג ביצועים עקביים יותר במבחני MTEB הודות לאימון מקדים נרחב על זוגות טקסט.

במדדי אחזור כמו CQADupstack הוא מגיע לדיוק סביר של בין 24 ל־45 אחוזים בתוצאה הראשונה, ותופס מעל 80 אחוז מהמסמכים הרלוונטיים במאה התוצאות הראשונות. במשימות סיווג כמו Amazon Polarity הוא מגיע ל־92.8 אחוזי דיוק, מה שמראה שההפרדה הגיאומטרית שלו עובדת היטב כשהטקסט ברור וקצר.

מתאים ל

• מנוע חיפוש פנימי באנגלית

  שליפת שאלות דומות או מסמכי עזרה טכניים באנגלית על בסיס דמיון סמנטי מהיר.

• סיווג טקסטים וסנטימנט

  הפרדה בין ביקורות חיוביות לשליליות בדיוק גבוה בלי לאמן מודל כבד מאפס.

• סינון כפילויות במערכות תמיכה

  זיהוי כרטיסי שירות זהים ודירוג מחדש לפי ציון הדמיון הוקטורי בזמן אמת.

איפה זה נופל

הוא מוגבל לחלון הקשר קצר של 512 טוקנים בלבד, כך שכל טקסט ארוך ייחתך ולא ייכנס לוקטור. בנוסף, המודל מאומן אך ורק על אנגלית. לא כדאי לנסות להריץ עליו טקסטים בעברית, התוצאות יהיו חסרות משמעות סמנטית. במשימות מסוימות כמו סיווג תגובות מרובות רמות הוא צונח ל־46.7 אחוזי דיוק, כך שהוא מתקשה בדירוג דק ומורכב.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers בקוד פייתון פשוט. בגלל הגודל הקומפקטי שלו, קבצי המודל שוקלים 2.0 ג'יגה בייט בפורמט float32, כך שאין שום צורך בכרטיס מסך ייעודי לצורך הסקת מסקנות שוטפת. מעבד מודרני ממוצע עם כמה ליבות וזיכרון עבודה בסיסי יריץ אותו בקלות בעומסי עבודה סבירים.

משתלם להרים אותו לבד בתוך השרת שלכם כדי לחסוך עלויות תעבורה, זמני שהייה ותשלום לפי טוקנים. פנייה לשירותי ענן חיצוניים תהיה מוצדקת רק אם אתם צריכים לאנדקס מיליוני מסמכים בבת אחת ואין לכם שרתים זמינים עם כרטיסי מסך לביצוע העיבוד המקבילי המהיר.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("intfloat/e5-base-v2")
v = m.encode(["שלום עולם"])

הקבצים

24 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin438.0 MB
• model.safetensors438.0 MB
• onnx/model.onnx435.8 MB
• openvino/openvino_model.bin435.6 MB
• onnx/model_O4.onnx217.8 MB
• onnx/model_qint8_avx512_vnni.onnx110.1 MB
• openvino/openvino_model_qint8_quantized.bin110.0 MB
• onnx/tokenizer.json711.4 KB
• tokenizer.json711.4 KB
• openvino/openvino_model_qint8_quantized.xml663.8 KB
• openvino/openvino_model.xml363.1 KB
• onnx/vocab.txt231.5 KB
• vocab.txt231.5 KB
• README.md67.6 KB
• .gitattributes1.5 KB
• config.json650 B
• onnx/config.json632 B
• modules.json387 B
• onnx/tokenizer_config.json314 B
• tokenizer_config.json314 B
• 1_Pooling/config.json200 B
• onnx/special_tokens_map.json125 B
• special_tokens_map.json125 B
• sentence_bert_config.json57 B

הרישיון

המודל מופץ תחת רישיון mit. אתם יכולים להשתמש בו חופשי לפרויקטים מסחריים או פנימיים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗