mxbai-rerank-base-v2

מה זה

המודל מבצע שלב שני בחיפוש טקסטואלי, שבו לוקחים עשרות תוצאות ראשוניות ממנוע חיפוש ומסדרים אותן מחדש לפי התאמה מדויקת לשאילתה. עם כחצי מיליארד פרמטרים, הוא מתברג בדיוק בין מודלים זעירים שלא מבינים הקשר מורכב לבין ענקי שפה איטיים ויקרים מדי להרצה מקומית. הוא בנוי על ארכיטקטורת Qwen2 ורץ עם עשרים וארבע שכבות בפורמט bfloat16, מה שמבטיח הבנה סמנטית טובה למרות הגודל הקומפקטי שלו.

היתרון המרכזי כאן הוא חלון הקשר של 32,768 טוקנים, נתון חריג למודל דירוג בגודל כזה. רוב הכלים המתחרים בקטגוריה נחנקים אחרי חמש מאות או אלף טוקנים, מה שמאלץ מפתחים לפצל מסמכים לפסקאות קטנות ולשבור את ההקשר. כאן אתם יכולים לזרוק פנימה חוזים, מאמרים ומסמכים טכניים שלמים, ולקבל ציון רלוונטיות בלי הנדסה מסובכת מסביב.

מתאים ל

• דירוג מחדש בחיפוש רב לשוני

  סידור תוצאות מדויק לפי שאילתה עבור מאגרי מידע בשפות כמו ערבית או רוסית שבהן המודל מאומן.

• סינון קטעים למערכות RAG

  צמצום עשרות מסמכים ארוכים לפסקאות המדויקות ביותר לפני שליחתן למודל שפה גדול ויקר.

• השוואת מסמכים משפטיים שלמים

  הערכת רלוונטיות של טקסטים ארוכים בלי לקטוע אותם, בזכות חלון הקשר של 32,768 טוקנים.

איפה זה נופל

החיסרון המרכזי לקורא הישראלי הוא היעדר עברית ברשימת השפות הנתמכות, שכוללת רק שפות כמו ערבית, בולגרית, בנגלה ואפריקאנס. אם תנסו לדרג טקסטים בעברית, המודל עשוי לקרוס בביצועים או לפרש מילים בצורה שגויה, ולכן הוא לא מתאים למאגרי מידע מקומיים ללא בדיקה יסודית מראש. בנוסף, חלון של שלושים ושניים אלף טוקנים הוא מלכודת ביצועים. אם תשלחו מסמכים באורך מלא לעיתים קרובות, זמן התגובה יזנק משמעותית ביחס לדירוג של פסקאות קצרות.

אותה משפחה

mxbai-rerank יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הקבצים שוקלים 958 מגה בייט בלבד, כך שכל כרטיס מסך בסיסי עם ארבעה עד שמונה גיגה זיכרון מריץ אותו בקלות דרך ספריית transformers. אין צורך בתשתית ייעודית כבדה או בשרתים מרובי מעבדים גרפיים, והוא יכול לפעול אפילו על מעבד רגיל אם זמן התגובה שלכם גמיש יותר.

אם אתם צריכים לדרג עשרות מסמכים בכל שאילתה בעומס גבוה מאוד, הזיכרון לא יהיה המגבלה אלא זמן החישוב, במיוחד אם תנצלו את כל חלון ההקשר. במצב כזה, שימוש בגרסה מרוחקת או בשירות מנוהל חוסך תחזוקה, אבל לרוב התרחישים קל וזול פי כמה להחזיק אותו בתוך השרת שלכם.

from transformers import pipeline

pipe = pipeline("text-ranking", model="mixedbread-ai/mxbai-rerank-base-v2")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 958 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors988.1 MB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• README.md46.9 KB
• LICENSE10.8 KB
• tokenizer_config.json4.7 KB
• .gitattributes1.6 KB
• config.json766 B
• special_tokens_map.json613 B
• added_tokens.json605 B
• chat_template.jinja576 B
• sentence_bert_config.json309 B
• modules.json281 B
• generation_config.json242 B
• config_sentence_transformers.json204 B
• 1_LogitScore/config.json50 B

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמעניק חופש כמעט מוחלט. אתם רשאים להשתמש בו במוצרים מסחריים, לשנות אותו, לארח אותו עצמאית ולהפיץ אותו ללקוחות, כל עוד אתם משאירים את הצהרת זכויות היוצרים ומציינים את הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗