GPT
הוספת כלי
M

mxbai-rerank-base-v1

קוד פתוח

mixedbread-aiapache-2.02024-02-29

  • transformers
  • onnx
  • safetensors
  • deberta-v2
  • text-classification

מודל דירוג מחדש קומפקטי שמיועד לחידוד תוצאות חיפוש טקסטואלי. הוא מתאים למי שרוצה לשפר דיוק בשליפת מידע בלי לשלם עלויות מחשוב כבדות.

  • 184Mפרמטרים
  • 512טוקנים בהקשר
  • 1.3 GBמשקל הקבצים
  • 39,263הורדות בחודש

מה זה

המודל הזה משמש כשלב שני במערכות חיפוש ושליפת מידע. הוא מקבל שאילתה ומסמך, ומחזיר ציון התאמה מדויק ביניהם כדי לסדר את התוצאות מהרלוונטית ביותר לפחות רלוונטית.

הוא מתבסס על ארכיטקטורת DebertaV2ForSequenceClassification עם 12 שכבות, ורץ בדיוק float16. המבנה הזה נותן לו הבנה עמוקה של הקשר תחבירי וסמנטי בהשוואה למודלים שמסתמכים על דמיון וקטורי פשוט בלבד, מה שמסייע לו לזהות התאמה גם כשאין חפיפת מילים מדויקת.

כרטיס המודל מספק בעיקר פרטים טכניים על מבנה הרשת והמשקלים, ואינו מפרט תוצאות מבחני ביצועים או השוואות מספריות מול מתחרים. המשמעות היא שאת רמת הדיוק האמיתית ביחס לפתרונות מקבילים תצטרכו לבדוק בעצמכם על הנתונים שלכם.

מתאים ל

  • שלב שני במערכות RAG

    סינון ודירוג מדויק של פסקאות באנגלית שנשלפו ממסד נתונים וקטורי, לפני שליחתן למודל שפה גדול.

  • שיפור מנועי חיפוש פנימיים

    דירוג מחדש של תוצאות חיפוש מבוסס מילות מפתח במסמכים טכניים קצרים באנגלית.

  • התאמת שאלות לתשובות במאגרי ידע

    זיהוי התשובה הקרובה ביותר מתוך מאגר שאלות ותשובות קצרות באנגלית לפי ציון התאמה ישיר.

איפה זה נופל

מגבלת האורך כאן קשיחה ועומדת על 512 טוקנים בסך הכול עבור השאילתה והמסמך יחד. אם הטקסטים שלכם ארוכים מזה, תצטרכו לחתוך אותם או לפצל לפסקאות, אחרת המודל פשוט יאבד מידע מהותי.

בנוסף, המודל אומן ותומך באנגלית בלבד. אם תנסו להריץ עליו טקסטים בעברית הוא ייכשל, ולכן הוא אינו מתאים למוצרים המיועדים לקהל ישראלי מקומי אלא אם מדובר בתוכן באנגלית.

אותה משפחה

mxbai-rerank יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

mxbai-rerank-base-v226,389

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לחיפוש בעברית?

לא. המודל מוגדר ותומך בשפה האנגלית בלבד. הרצה של טקסטים בעברית תניב תוצאות לא רלוונטיות, ולמשימות בעברית צריך לחפש מודל רב לשוני.

מה קורה כשהמסמך ארוך מ־512 טוקנים?

חלון ההקשר המרבי הוא 512 טוקנים לשאילתה ולמסמך ביחד. טקסט עודף ייחתך, ולכן מסמכים ארוכים מחייבים חלוקה לפסקאות קצרות ובדיקת כל פסקה בנפרד.

האם המודל דורש כרטיס מסך יקר להרצה?

לא. גודל של 184 מיליון פרמטרים שוקל כ־1.3 גיגה בייט בלבד, כך שאפשר להריץ אותו בקלות על מעבד רגיל או על מעבד גרפי בסיסי וזול.

איך מריצים

בזכות 184 מיליון פרמטרים ומשקל קבצים כולל של 1.3 גיגה בייט, המודל הזה קל מאוד לתפעול. אפשר להריץ אותו דרך ספריית transformers על גבי מעבד רגיל, אם כי מעבד גרפי צנוע ייתן זמני תגובה מהירים בהרבה בתעבורה גבוהה.

לא מדווחים כאן גדלים חלופיים או גרסאות נוספות. כדאי להריץ אותו עצמאית אם יש לכם צרכי פרטיות או שאתם רוצים להימנע מעלויות תעבורה, אבל אם אין לכם תשתית שרתים פעילה, פנייה לפתרון מנוהל תחסוך תחזוקה.

from transformers import pipeline

pipe = pipeline("text-ranking", model="mixedbread-ai/mxbai-rerank-base-v1")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או מסחרית, ללא תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗