mxbai-rerank-xsmall-v1

מה זה

המודל מבצע משימת Text Ranking ומבוסס על ארכיטקטורת DebertaV2 עבור סיווג רצפים, עם 12 שכבות ומשקל כולל של כחצי ג'יגה בייט בקובצי המשקולות. תפקידו הוא לקבל שאילתה ומספר קטעי טקסט, ולדרג אותם לפי מידת הרלוונטיות לשאילתה.

הייחוד העיקרי כאן הוא המשקל הנמוך. רוב מודלי הדירוג בשוק כבדים משמעותית ודורשים כרטיסי מסך חזקים, בעוד הגודל הזה נבנה כדי לפעול מהר ובמינימום משאבים. הוא מיועד למערכות שבהן שליפה וקטורית ראשונית מחזירה עשרות תוצאות, ונדרש שלב סינון מדויק יותר בלי לפגוע בזמן התגובה למשתמש.

מתאים ל

• דירוג תוצאות בחיפוש RAG

  סינון עשרות פסקאות שהוחזרו משליפה וקטורית כדי להגיש למודל השפה רק את הקטעים המדויקים ביותר באנגלית.

• ריצה מקומית על שרתי CPU

  הוספת שלב ריראנקינג למערכת חיפוש קיימת בלי להוסיף כרטיס מסך ייעודי ובלי להגדיל את עלויות השרתים.

• האצת זמני תגובה בחיפוש

  שילוב במערכות שבהן מודלי ריראנקינג גדולים יותר מייצרים השהיה גבוהה מדי עבור המשתמש.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים בלבד. אי אפשר להזין לתוכו מסמכים ארוכים, אלא רק פסקאות קצרות או תקצירים, אחרת הטקסט ייחתך ותאבדו מידע. המגבלה הקריטית ביותר לקורא המקומי היא השפה. המודל מאומן ומוגדר רשמית לאנגלית בלבד, כך שלא הייתי מנסה להכניס אותו לפרודקשן שמטפל בשאילתות או במסמכים בעברית בלי בדיקה קפדנית, וכנראה שהוא לא יתאים לשם.

איך מריצים

בזכות משקל של 500 מגה בייט ודיוק float16, אין חובה להחזיק כרטיס מסך ייעודי בשרת. אפשר להריץ אותו ישירות על מעבד רגיל של שרת ענן פשוט, בקונטיינר קל, באמצעות ספריית transformers התקנית של פייתון.

הריצה העצמית פשוטה מאוד ולא דורשת תשתיות מורכבות או ניהול זיכרון כבד. במקרה של המודל הזה, אין סיבה אמיתית לשלם על API חיצוני אם יש לכם שרת יישומים שכבר רץ, אלא אם אתם מנהלים עומס עצום של מיליוני שאילתות ומעדיפים שמישהו אחר יתעסק בסקיילינג.

from transformers import pipeline

pipe = pipeline("text-ranking", model="mixedbread-ai/mxbai-rerank-xsmall-v1")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 500 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx284.2 MB
• model.safetensors141.7 MB
• onnx/model_quantized.onnx87.2 MB
• tokenizer.json8.6 MB
• spm.model2.5 MB
• README.md49.5 KB
• LICENSE10.8 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.4 KB
• onnx/quantize_config.json1.2 KB
• special_tokens_map.json970 B
• config.json968 B
• added_tokens.json23 B

הרישיון

המודל מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או מסחרית בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗