mxbai-rerank-large-v2

מה זה

המודל מתמקד במשימת דירוג טקסטים עבור מערכות שליפה, ומקבל שאילתה לצד רשימת מסמכים כדי להחזיר אותם ממוינים לפי רלוונטיות. הבסיס שלו הוא ארכיטקטורת קוון 2 לג'נרוט, שהותאמה למשימת דירוג, עם עשרים ושמונה שכבות ומשקל של כמעט שלושה גיגה בייט. היתרון המרכזי כאן הוא חלון הקשר באורך שלושים ושניים אלף טוקנים, נתון נדיר למודלי דירוג בגודל של מיליארד וחצי פרמטרים, שמאפשר להזין מסמכים ארוכים ומורכבים בלי לחתוך אותם קודם.

הוא מיועד לתפוס את השלב השני בצנרת חיפוש, אחרי שמנוע וקטורי או לקסיקלי ראשוני שלף כמה עשרות תוצאות. בניגוד למודלי בי אנדקודר פשוטים שמשווים רק וקטור מול וקטור, כאן יש תשומת לב מלאה בין השאילתה לכל מילה במסמך. המשמעות היא הבנה עמוקה בהרבה של הקשר, שלילה ומשמעות, במחיר של כוח חישוב.

מתאים ל

• סינון שלב שני בחיפוש

  דירוג מחדש של עשרות תוצאות ראשוניות ממנוע חיפוש כדי להקפיץ את המדויקות ביותר לראש הרשימה.

• מערכות שאלות ותשובות

  מיון פסקאות שנשלפו ממאגר ידע ארוך לפני שהן נכנסות לחלון ההקשר של מודל הג'נרוט.

• ניתוח מסמכים רב לשוני

  השוואת שאילתות מול פסקאות ארוכות בשפות נתמכות כמו ערבית, אזרית או בולגרית.

איפה זה נופל

החיסרון הברור ביותר עבור מפתח ישראלי הוא היעדר תמיכה בעברית. רשימת השפות כוללת ערבית, בולגרית, בנגלית ועוד כמה שפות ספציפיות, אבל עברית לא נמצאת שם, ולכן הוא יתקשה מאוד להבין מורפולוגיה מקומית. מעבר לזה, חלון הקשר של שלושים ושניים אלף טוקנים הוא יתרון רק על הנייר אם לא נזהרים. ככל שדוחפים יותר טקסט, זמני התגובה מזנקים, ולכן הרצת דירוג מלא על מסמכי ענק בתוך תהליך חיפוש חי עלולה להוביל להשהיות לא סבירות.

אותה משפחה

mxbai-rerank-large יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בזכות גודל של אחד נקודה חמש מיליארד פרמטרים ומשקל קבצים של שניים נקודה תשעה גיגה בייט, המודל הזה קל מאוד לתפעול. כרטיס מסך בודד עם שמונה גיגה זיכרון מריץ אותו בקלות בדיוק המקורי, בלי צורך בכימות מיוחד או פיצול שכבות על פני כמה מעבדים. הוא פועל ישירות דרך ספריית הטרנספורמרס המוכרת, כך שלא צריך תלויות מורכבות כדי להרים אותו.

אם אתם צריכים לדרג אלפי מסמכים בשנייה עבור אלפי משתמשים בו זמנית, הדירוג הזה ייצור צוואר בקבוק, ושם שירות ענן ייעודי יחסוך כאב ראש. אבל לרוב המערכות הפנימיות, הרצה עצמית על שרת מקומי תיתן ביצועים מעולים בעלות תשתית נמוכה.

from transformers import pipeline

pipe = pipeline("text-ranking", model="mixedbread-ai/mxbai-rerank-large-v2")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.1 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• README.md46.8 KB
• LICENSE10.8 KB
• tokenizer_config.json4.7 KB
• .gitattributes1.6 KB
• config.json768 B
• special_tokens_map.json613 B
• added_tokens.json605 B
• chat_template.jinja576 B
• sentence_bert_config.json309 B
• modules.json281 B
• generation_config.json242 B
• config_sentence_transformers.json204 B
• 1_LogitScore/config.json50 B

הרישיון

הקוד והמשקולות מופצים תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו בחופשיות, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗