mxbai-rerank-large-v1

מה זה

זהו קרוס-אנקודר בגודל 435 מיליון פרמטרים שמבוסס על ארכיטקטורת DeBERTa-v3 ומיועד לשלב השני במערכות חיפוש ו־RAG. בניגוד למודלי הטמעה רגילים שמשווים וקטורים נפרדים של שאילתה ומסמך, הוא מעביר את השאילתה והטקסט יחד דרך כל 24 השכבות שלו. המעבר המשותף מאפשר לו לזהות קשרים עמוקים וניואנסים שחיפוש וקטורי פשוט מפספס לחלוטין.

המשמעות של הגודל הזה ברורה: 435 מיליון פרמטרים נותנים דיוק גבוה בהרבה ממודלים זעירים של דירוג, אך במחיר של זמן עיבוד. הוא לא מחליף את מנוע החיפוש הקיים, אלא מקבל ממנו רשימה מצומצמת, למשל 50 או 100 פסקאות שנשלפו ראשונות, ומסדר אותן מחדש לפי מידת הרלוונטיות האמיתית לשאילתה.

מתאים ל

• שיפור תשובות RAG

  סינון עשרות פסקאות שנשלפו ממאגר וקטורי והגשת הרלוונטיות ביותר לחלון המודל המייצר.

• דירוג מחדש בחיפוש אתרים

  קבלת תוצאות ראשוניות ממנוע חיפוש טקסטואלי באנגלית וסידורן לפי התאמה מדויקת.

• סינון קטעים לצ'אטבוט תמיכה

  וידוא שמסמך התמיכה הנכון באנגלית נבחר מתוך עשרות תוצאות אפשריות של משתמש.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים בלבד. אי אפשר להזין לו מסמכים שלמים, והוא מחייב פירוק מוקדם של הטקסט לפסקאות קצרות, במיוחד כי השאילתה והמסמך חולקים יחד את אותם 512 טוקנים.

בנוסף, הוא אומן עבור השפה האנגלית בלבד. אם תזינו לו טקסטים בעברית תקבלו תוצאות גרועות או חסרות משמעות לחלוטין, ולכן הוא לא מתאים למאגרי מידע ישראליים מקומיים.

אותה משפחה

mxbai-rerank-large יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

משקל הקבצים עומד על 3.0 גיגה-בייט בפורמט float16, מה שאומר שאפשר להריץ אותו בקלות על כרטיס מסך בודד בעל זיכרון צנוע, ואפילו על מעבד חזק אם התעבורה נמוכה. מריצים אותו דרך ספריית transformers הרגילה של פייתון ללא צורך בהגדרות מיוחדות.

אם אתם צריכים לדרג עשרות תוצאות בלבד בכל פנייה עבור עומס משתמשים בינוני, שרת פנימי קטן עם GPU בסיסי יעשה את העבודה בעלות נמוכה. שירות API חיצוני משתלם רק אם היקף השאילתות שלכם קופץ בפולסים חדים ולא מצדיק החזקת שרת ייעודי שפועל מסביב לשעון.

from transformers import pipeline

pipe = pipeline("text-ranking", model="mixedbread-ai/mxbai-rerank-large-v1")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 3.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx1.7 GB
• model.safetensors870.2 MB
• onnx/model_quantized.onnx642.6 MB
• tokenizer.json8.6 MB
• spm.model2.5 MB
• README.md49.5 KB
• LICENSE10.8 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.4 KB
• onnx/quantize_config.json1.2 KB
• config.json970 B
• special_tokens_map.json970 B
• added_tokens.json23 B

הרישיון

רישיון הפצה פתוח מסוג Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקולות, ולשלב אותו במוצרים פנימיים או חיצוניים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗