GPT
הוספת כלי
G

gte-multilingual-reranker-base

קוד פתוח

Alibaba-NLPapache-2.02024-07-20

  • sentence-transformers
  • safetensors
  • new
  • text-classification
  • transformers

מודל דירוג מחדש קומפקטי שתומך בטקסטים ארוכים וביותר מ־70 שפות. הוא מציע אלטרנטיבה מהירה וקלה בהרבה לעומת מודלים שמבוססים על ארכיטקטורת LLM כבדה.

  • 306Mפרמטרים
  • 8,192טוקנים בהקשר
  • 600 MBמשקל הקבצים
  • 417,503הורדות בחודש

מה זה

מדובר במודל ייעודי לדירוג תוצאות חיפוש מבית עליבאבא, שמבוסס על ארכיטקטורת אנקודר בלבד עם 306 מיליון פרמטרים. בשונה ממודלים שמבוססים על מודלי שפה גדולים לגנרציה, המבנה הזה מאפשר לו לעבוד מהר משמעותית ועם צריכת זיכרון צנועה מאוד, בלי לוותר על היכולת לעבד קלטים באורך של עד 8,192 טוקנים.

הוא מיועד לשלב השני במערכות אחזור מידע, שבו לוקחים רשימת תוצאות ראשונית ומדרגים אותה מחדש לפי מידת ההתאמה לשאילתה. הדגש כאן הוא על תמיכה רחבה בלמעלה מ־70 שפות, כשהמפתחים מדווחים על ביצועים מובילים במשימות אחזור רב-לשוניות בהשוואה למודלים בגודל דומה.

מתאים ל

  • דירוג מחדש בצינור RAG

    סינון והערכה מחדש של פסקאות ארוכות שנשלפו ממאגר וקטורי, בזכות חלון הקשר של 8,192 טוקנים.

  • חיפוש רב-לשוני

    דירוג תוצאות בשאילתות שמשלבות מספר שפות או במאגרים גלובליים, עם תמיכה בלמעלה מ־70 שפות.

  • הסקה מהירה על שרת מקומי

    קבלת תוצאות בזמני תגובה נמוכים על חומרה זולה או CPU, הודות לגודל של 306 מיליון פרמטרים בלבד.

איפה זה נופל

הקוד דורש הרצה של קוד מרוחק עם trust_remote_code, מה שמחייב בדיקת אבטחה לפני שמעלים אותו לסביבות ייצור סגורות. בנוסף, למרות ההבטחה לתמיכה ביותר מ־70 שפות, רשימת השפות המפורטת בדף כוללת בעיקר שפות כמו ערבית, בולגרית או קטלאנית, כך שחובה לבדוק את איכות הדירוג בפועל בשפה הספציפית שלכם לפני שמסתמכים עליו.

שאלות
נפוצות

במה הוא שונה ממודל reranker מבוסס LLM כמו gte-qwen2-1.5b-instruct?

הוא מבוסס על ארכיטקטורת אנקודר בלבד ולא על מודל גנרטיבי. המבנה הזה מאפשר לו לעבוד במהירות גבוהה פי עשרה ולדרוש הרבה פחות משאבי זיכרון וחומרה בזמן ההסקה.

האם המודל ב־API של Alibaba Cloud זהה למודל הזה?

לא. עליבאבא מציינים בכרטיס המודל שהגרסאות שרצות ב־API המסחרי שלהם אינן זהות לחלוטין למודל הקוד הפתוח שמפורסם כאן.

איך מריצים

בגלל גודל של כ־600 מגה-בייט בלבד, אפשר להריץ אותו בקלות גם על מעבד רגיל או על כרטיס מסך בסיסי. עליבאבא מספקים דוגמאות ריצה ישירות עם ספריית transformers תוך שימוש ב־trust_remote_code, או דרך שרתי הסקה ייעודיים כמו Text Embeddings Inference של Hugging Face ו־Infinity, שתומכים בהאצה עם xformers ו־unpadding.

אם אתם צריכים שירות מנוהל בלי לתחזק שרתים, עליבאבא מציעה גרסת API מסחרית בענן שלה תחת השם gte-rerank. חשוב לקחת בחשבון שהחברה מציינת במפורש שהמודלים מאחורי ה־API המסחרי אינם זהים לחלוטין למודל הקוד הפתוח הזה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("Alibaba-NLP/gte-multilingual-reranker-base")
v = m.encode(["שלום עולם"])

הקבצים

8 קבצים במאגר, 600 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המודל בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗