deepset-mxbai-embed-de-large-v1

מה זה

הוא מבוסס על ארכיטקטורת XLMRobertaModel עם עשרים וארבע שכבות ודיוק float16. המודל מתמחה בהפקת וקטורים מייצגים מטקסטים לצורכי השוואה, סיווג ומציאת מסמכים דומים. ההבדל העיקרי מול מודלים כלליים אחרים הוא ההתאמה הממוקדת לשוק דובר הגרמנית לצד אנגלית, בלי לנסות לתמוך בעשרות שפות במקביל על חשבון הדיוק.

הגודל שלו, כמעט חצי מיליארד פרמטרים, מציב אותו בקטגוריית המודלים הכבדים יותר בתחום ה־feature-extraction. המשמעות היא יכולת הבנה עמוקה יותר של הקשר תחבירי ומונחים מקצועיים בגרמנית, שמתבטאת באחזור מדויק יותר של פסקאות רלוונטיות בהשוואה לגרסאות קלות יותר.

מתאים ל

• מנוע חיפוש למסמכים בגרמנית

  הוא אומן במיוחד עבור גרמנית ומספק אחזור סמנטי מדויק מתוך מאגרי ידע.

• רכיב אחזור למערכות RAG

  מייצר וקטורים איכותיים מפסקאות טקסט באנגלית ובגרמנית לפני שליחה ל־LLM.

• סיווג וקיבוץ טקסטים

  ממיר טקסטים לייצוג מספרי צפוף שמתאים לאלגוריתמים של אשכולות ומיון.

איפה זה נופל

חלון ההקשר עומד על 514 טוקנים בלבד. אי אפשר לדחוף אליו מסמכים שלמים בלי לחתוך אותם קודם לפסקאות קצרות, מה שדורש תהליך chunking קפדני מראש. מעבר לזה, המודל מוגבל לגרמנית ואנגלית בלבד. אם תזינו לו טקסטים בעברית או בשפות אחרות, הווקטורים שיתקבלו לא יהיו אמינים.

איך מריצים

טוענים את המודל ישירות דרך ספריית sentence-transformers בקוד פייתון. בגלל משקל קבצים של 7.2 גיגה־בייט וארכיטקטורה של 487 מיליון פרמטרים, תצטרכו כרטיס מסך עם לפחות שמונה עד עשרה גיגה־בייט של VRAM כדי לקבל זמני תגובה טובים בייצור, במיוחד בעבודה על באצ'ים.

אם אין לכם שרת ייעודי עם מעבד גרפי מתאים, או שאתם בונים רק אבטיפוס מהיר, כדאי לשקול פנייה ל־API מנוהל חיצוני. להריץ אותו מקומית על מעבד רגיל יהיה אטי מדי לכל תרחיש חיפוש בזמן אמת שמשרת משתמשים.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("mixedbread-ai/deepset-mxbai-embed-de-large-v1")
v = m.encode(["שלום עולם"])

הקבצים

23 קבצים במאגר, 7.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx1.9 GB
• model.safetensors974.2 MB
• onnx/model_fp16.onnx972.8 MB
• onnx/model_q4.onnx925.6 MB
• onnx/model_bnb4.onnx906.7 MB
• onnx/model_q4f16.onnx538.7 MB
• onnx/model_uint8.onnx487.9 MB
• onnx/model_int8.onnx487.9 MB
• onnx/model_quantized.onnx487.9 MB
• tokenizer.json12.3 MB
• sentencepiece.bpe.model5.1 MB
• README.md53.3 KB
• LICENSE10.8 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.6 KB
• special_tokens_map.json1.0 KB
• config.json732 B
• modules.json409 B
• angle.config352 B
• 1_Pooling/config.json201 B
• config_sentence_transformers.json126 B
• added_tokens.json69 B
• sentence_bert_config.json57 B

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והפצה של המודל בתוך מוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי של mixedbread-ai בעת ההפצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗