multilingual-e5-small

מה זה

מדובר במודל מבוסס ארכיטקטורת ברט עם 12 שכבות וסך הכל 118 מיליון פרמטרים, שנועד למשימות דמיון בין משפטים. הנקודה המרכזית כאן היא היחס בין המשקל לבין מגוון השפות. ברשימת השפות הנתמכות מופיעות עשרות שפות, כולל עברית וערבית, מה שהופך אותו לבחירה טבעית למי שבונה פתרונות בישראל בלי לרתום משאבים כבדים.

בבדיקות הביצועים הרשמיות של מדד MTEB רואים פערים חדים בין המשימות. במשימות כריית טקסט מקביל, כמו BUCC בין אנגלית לגרמנית, הוא מציג דיוק מרשים של מעל 98 אחוזים. גם בסיווג כוונות הוא שומר על יציבות סביב 85 עד 91 אחוזים בשפות שונות. מצד שני, בבדיקות חיפוש ואחזור מורכבות כמו ClimateFEVER, הדיוק בצמרת התוצאות צונח מתחת ל־20 אחוזים. זה אומר שהוא מצטיין בזיהוי דמיון ישיר וסיווג, אבל מתקשה לשלוף תשובות מתוך מאגרים עמוסים כשיש צורך בהסקה מורכבת.

מתאים ל

• חיפוש סמנטי למאגרים קצרים

  התאמת שאילתות משתמש לכותרות, שאלות נפוצות וקטעי מידע תמציתיים בעברית ובשפות נוספות.

• סיווג כוונות בבוטים

  זיהוי כוונת הפונה על בסיס משפט יחיד, תחום שבו הוא מציג תוצאות גבוהות במדדי סיווג.

• סינון שאלות כפולות

  השוואת וקטורים מהירה לאיתור ניסוחים מקבילים בפורומים ובמערכות תמיכה טכנית בזמן אמת.

איפה זה נופל

מגבלת הקלט עומדת על 512 טוקנים בלבד, כך שהוא לא מסוגל לעבד מסמכים ארוכים או חוזים מלאים בלי פירוק מוקדם לפסקאות. בנוסף, תוצאות ה־MRR שלו במאגרי חיפוש שאלות ותשובות מציגות ביצועים בינוניים. בסיווג ביקורות אמזון רב לשוניות הוא השיג סביב 37 עד 44 אחוזי דיוק בלבד, ובסיווג רגשות הגיע ל־42 אחוזים. מומלץ לבדוק אותו על דאטה סט מקומי בעברית לפני שילובו במוצר, כי מודלים קטנים נוטים לעיתים לאבד הקשרים דקדוקיים עדינים.

איך מריצים

טוענים את המודל ישירות דרך ספריית sentence-transformers בפייתון, והוא עובד עם משקולות float32. עם 118 מיליון פרמטרים בלבד, אין שום חובה להחזיק מעבד גרפי ייעודי. מעבד רגיל של שרת ענן פשוט או אפילו לפטופ פיתוח מריצים אותו בלי בעיה ובזמני תגובה של מילישניות בודדות.

המשקל הכולל של הקבצים בהורדה הוא 2.1 גיגה בייט. שווה להריץ אותו עצמאית בכל מצב שבו רוצים לחסוך עלויות קריאה או שחייבים לשמור על פרטיות המידע בתוך הרשת המקומית. פנייה לשירות ענן חיצוני עדיפה רק אם אתם לא רוצים לנהל שרתים בכלל או אם אתם זקוקים למודלים ענקיים שדורשים חלונות הקשר רחבים יותר.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("intfloat/multilingual-e5-small")
v = m.encode(["שלום עולם"])

הקבצים

43 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin470.7 MB
• model.safetensors470.6 MB
• onnx/model.onnx470.3 MB
• openvino/openvino_model.bin470.0 MB
• onnx/model_O4.onnx235.1 MB
• onnx/model_qint8_avx512_vnni.onnx118.3 MB
• onnx/tokenizer.json17.1 MB
• tokenizer.json17.1 MB
• onnx/sentencepiece.bpe.model5.1 MB
• sentencepiece.bpe.model5.1 MB
• README.md497.5 KB
• openvino/openvino_model.xml363.4 KB
• .gitattributes1.6 KB
• .eval_results/BrightSustainableLivingLongRetrieval.yaml673 B
• .eval_results/BrightTheoremQAQuestionsRetrieval.yaml669 B
• .eval_results/BrightSustainableLivingRetrieval.yaml667 B
• .eval_results/BrightTheoremQATheoremsRetrieval.yaml667 B
• .eval_results/BrightStackoverflowLongRetrieval.yaml665 B
• .eval_results/BrightEarthScienceLongRetrieval.yaml663 B
• .eval_results/BrightEarthScienceRetrieval.yaml659 B
• .eval_results/BrightStackoverflowRetrieval.yaml659 B
• .eval_results/BrightEconomicsLongRetrieval.yaml655 B
• .eval_results/BrightPsychologyLongRetrieval.yaml655 B
• config.json655 B
• .eval_results/BrightPsychologyRetrieval.yaml653 B
• .eval_results/BrightRoboticsLongRetrieval.yaml653 B
• onnx/config.json653 B
• .eval_results/BrightBiologyLongRetrieval.yaml651 B
• .eval_results/BrightEconomicsRetrieval.yaml651 B
• .eval_results/BrightLeetcodeRetrieval.yaml651 B
• .eval_results/BrightBiologyRetrieval.yaml647 B
• .eval_results/BrightRoboticsRetrieval.yaml647 B
• .eval_results/BrightPonyLongRetrieval.yaml645 B
• .eval_results/BrightAopsRetrieval.yaml641 B
• .eval_results/BrightPonyRetrieval.yaml641 B
• .eval_results/ArguAna.yaml575 B
• onnx/tokenizer_config.json443 B
• tokenizer_config.json443 B
• modules.json387 B
• 1_Pooling/config.json200 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקולות, שילוב במוצרים סגורים והפצה ללקוחות. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ונוסח הרישיון המקורי בתוך העותקים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗