bge-reranker-v2-gemma

מה זה

במקום לייצר וקטורים כמו מודל אמבדינג רגיל, הוא מקבל שאילתה ומסמך יחד ופולט ציון רלוונטיות ישיר. המודל בנוי על בסיס gemma-2b של גוגל ואומן על תערובת של bge-m3-data, quora ו־fever כדי לתת מענה רב-לשוני עם דגש על אנגלית.

ההבדל המרכזי מול דגמים כמו bge-reranker-base או גרסת ה־m3 הוא הארכיטקטורה. כאן מדובר במודל שפה שלם עם 18 שכבות וחלון הקשר של 8,192 טוקנים. הוא מסוגל לתפוס קשרים סמנטיים מורכבים בטקסטים ארוכים, אך דורש משאבי חישוב כבדים בהרבה ביחס למודלים מבוססי אנקודר פשוט.

מתאים ל

• שלב דירוג סופי בצינור RAG

  מדרג את עשרות התוצאות הראשונות שחזרו מחיפוש וקטורי כדי להגיש למודל השפה רק את הקטעים המדויקים ביותר.

• סינון מסמכים ארוכים

  מנצל חלון של 8,192 טוקנים כדי להשוות שאילתות לפסקאות ארוכות בלי לחתוך אותן לחלקים קטנים.

• חיפוש רב-לשוני משולב

  מתאים למערכות שבהן השאילתה והטקסטים מגיעים בשפות שונות, בזכות האימון על בסיס הנתונים של m3.

איפה זה נופל

המודל כבד מאוד למשימות בזמן אמת. בניגוד לגרסת ה־minicpm המקבילה, הוא לא כולל מנגנון layerwise שמאפשר לחתוך שכבות כדי להאיץ את הריצה. בנוסף, המפתחים לא צירפו בכרטיס תוצאות מספריות גולמיות ממבחני BEIR או miracl אלא רק הפניות לתמונות, כך שקשה לדעת מראש מה רמת הדיוק שלו בשפות שאינן אנגלית או סינית בלי להריץ בדיקה עצמאית על הנתונים שלכם.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־9.4 גיגה-בייט בדיוק float32. כדי להריץ אותו בפועל מומלץ להשתמש בספריית FlagEmbedding ולהפעיל מצב fp16 או bf16 שמקצרים את זמן החישוב במחיר של ירידה קלה בביצועים. בשביל הרצה מקומית סבירה תצטרכו מעבד גרפי עם לפחות 8 עד 12 גיגה-בייט של VRAM.

אם אתם צריכים לדרג אלפי מסמכים בשנייה בזמן אמת, הרצה עצמאית של מודל בגודל 2.5B תהיה אטית מדי בלי חומרה ייעודית. במקרה כזה, עדיף להשתמש בריראנקר קטן כמו m3 או לפנות לפתרונות מנוהלים.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("BAAI/bge-reranker-v2-gemma")
v = m.encode(["שלום עולם"])

הקבצים

17 קבצים במאגר, 9.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors134.2 MB
• tokenizer.json17.5 MB
• tokenizer.model4.2 MB
• assets/llama-index.png106.5 KB
• assets/BEIR-bge-en-v1.5.png56.4 KB
• assets/miracl-bge-m3.png52.0 KB
• assets/CMTEB-retrieval-bge-zh-v1.5.png51.5 KB
• assets/BEIR-e5-mistral.png40.2 KB
• README.md17.2 KB
• model.safetensors.index.json13.5 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.1 KB
• config.json659 B
• special_tokens_map.json555 B
• generation_config.json132 B

הרישיון

הרישיון הוא apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצר סגור. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗