GPT
J

jina-reranker-v1-turbo-en

קוד פתוח

jinaaiapache-2.02024-04-15

  • transformers
  • pytorch
  • onnx
  • safetensors
  • bert

יש כאן גם סקירה על Jina AI עצמו.

רירנקר קומפקטי שמדרג תוצאות חיפוש באנגלית במהירות גבוהה, עם תמיכה במסמכים ארוכים של עד 8,192 טוקנים ובמשקל זעיר.

  • 38Mפרמטרים
  • 8,192טוקנים בהקשר
  • 671 MBמשקל הקבצים
  • 16,299הורדות בחודש

מה זה

מדובר במודל דירוג מחדש שמבוסס על ארכיטקטורת JinaBERT עם מנגנון ALiBi, מה שמאפשר לו לקרוא מסמכים ארוכים פי כמה מרוב מודלי הרירנקינג הוותיקים שנעצרים ב־512 טוקנים. הוא נוצר באמצעות זיקוק ידע ממודל הבסיס הגדול יותר של החברה, jina-reranker-v1-base-en, ומכיל 6 שכבות ו־37.8 מיליון פרמטרים.

במבחני ביצועים הוא משיג ציון NDCG@10 של 49.60 ב־17 מאגרי BEIR ודיוק פגיעה של 85.13% בתרחישי RAG של LlamaIndex. המספרים האלה מראים שהוא שומר על רמת דיוק קרובה מאוד למודל המקורי, תוך ירידה קלה בדירוג מסמכים ארוכים שבהם ציון ה־LoCo שלו עומד על 69.21 לעומת 87.31 במודל האב.

מתאים ל

  • סינון תוצאות ב־RAG באנגלית

    דירוג מחדש מהיר של פסקאות שנשלפו מווקטור דיבי לפני שליחתן למודל שפה, עם פגיעה מינימלית בזמני התגובה.

  • דירוג מסמכים ארוכים

    טיפול בקבצים שלמים עד 8,192 טוקנים בלי צורך לקצוץ אותם לחלקים קטנים מראש.

  • הרצה ישירה ב־Edge או Node

    שילוב רירנקר ישירות בצד לקוח או בשירותי Node.js קלים בזכות תמיכה בספריית transformers.js.

איפה זה נופל

החולשה העיקרית היא השפה. המודל מאומן לאנגלית בלבד, ולכן הוא לא מתאים לפרויקטים בעברית או לחיפוש רב־לשוני. מעבר לזה, במבחני LoCo למסמכים ארוכים רואים נפילה משמעותית ביחס לגרסת הבסיס, ואפילו גרסת ה־tiny הקטנה יותר עקפה אותו שם עם ציון 70.29. אם המסמכים שלכם ארוכים ומורכבים במיוחד, צריך לבדוק היטב האם הפגיעה בדיוק הדירוג מקובלת עליכם.

שאלות
נפוצות

האם המודל תומך בחיפוש בעברית?

לא. המודל אומן על אנגלית בלבד ומיועד לטקסטים בשפה זו. שימוש במסמכים בעברית יוביל לתוצאות דירוג ירודות או שגויות.

מה עדיף, גרסת הטורבו הזו או גרסת הבסיס של ג'ינה?

גרסת הבסיס מציעה דיוק גבוה בהרבה במסמכים ארוכים אבל זמינה רק דרך ה־API של החברה. אם אתם חייבים להריץ אצלכם על השרת ובזול, הטורבו נותן פשרה טובה בין דיוק למשאבים.

איך מריצים

המודל שוקל 671 מגה־בייט בלבד, כך שאפשר להריץ אותו בקלות על מעבד רגיל, על שרת זול בלי מאיץ ייעודי, או ישירות בדפדפן ובסביבות Node.js באמצעות transformers.js. ההרצה המקומית נעשית בעזרת transformers או sentence-transformers.

למי שלא רוצה לתחזק שרת עצמאי או להתעסק עם עדכוני תוכנה, ג'ינה מספקת גם גישה דרך API מנוהל שמחזיר תוצאות בקריאת HTTP פשוטה. אם אתם צריכים מהירות מקסימלית בלי תלות ברשת, הרצה מקומית של המשקל הקל הזה תהיה פתרון פשוט.

from transformers import pipeline

pipe = pipeline("text-ranking", model="jinaai/jina-reranker-v1-turbo-en")
print(pipe("שלום"))

הרישיון

הקוד והמשקלים זמינים תחת רישיון apache-2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להפיץ אותו כחלק ממוצר סגור ולהריץ אותו בכל תשתית, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗