GPT
הוספת כלי
G

gte-large

קוד פתוח

thenlpermit2023-07-27

  • sentence-transformers
  • pytorch
  • onnx
  • safetensors
  • openvino

מודל וקטורי מבוסס ברט שמפיק ייצוגים איכותיים לטקסט באנגלית. הוא מתאים למי שרוצה דיוק גבוה באחזור ובסיווג בלי לשלם על מודלי ענק.

  • 335Mפרמטרים
  • 512טוקנים בהקשר
  • 5.0 GBמשקל הקבצים
  • 655,753הורדות בחודש

מה זה

מדובר בארכיטקטורת ברט עם 24 שכבות וכ־335 מיליון פרמטרים, שמיועדת למשימות דמיון טקסטואלי, אחזור מידע וסיווג. המודל מייצר וקטור יחיד עבור כל קטע טקסט, ובמדדי ההשוואה של MTEB הוא מפגין יכולות חזקות מאוד באנגלית. בסיווג פולאריות באמזון הוא מגיע לדיוק של מעל 92%, ובמשימות דמיון סמנטי כמו BIOSSES הוא מציג מתאם פירסון של מעל 90.

במשימות אחזור מעשיות מתוך מאגרי שאלות ותשובות טכניים, ביצועי המודל מראים החזר טוב מאוד בטווח הרחב, עם ריקול שמגיע ליותר מ־85% בעשירייה הראשונה בחלק מהבדיקות, אבל הדיוק בתוצאה הבודדת הראשונה נמוך בהרבה ועומד סביב 30%. המשמעות היא שהמודל מצטיין בצמצום מאגר גדול לרשימה קצרה ורלוונטית, אך פחות מתאים להסתמכות על תוצאה ראשונה בודדת ללא שלב דירוג נוסף.

מתאים ל

  • מנוע חיפוש סמנטי באנגלית

    שליפת פסקאות ומסמכים רלוונטיים מתוך מאגרי מידע טכניים באנגלית.

  • סינון ראשוני למערכות RAG

    צמצום מהיר של אלפי קטעים לכמה עשרות מועמדים מובילים עבור מודל שפה.

  • סיווג טקסט ואשכולות

    קיבוץ אוטומטי של פניות משתמשים וזיהוי כוונות או סנטימנט באנגלית.

איפה זה נופל

המגבלה הכי משמעותית כאן היא השפה, המודל אומן על אנגלית בלבד. אם תזינו לתוכו טקסט בעברית, הייצוגים הווקטוריים יהיו חסרי משמעות ולא תקבלו תוצאות שימושיות.

נוסף על כך, חלון ההקשר נעצר ב־512 טוקנים. אם תנסו להזין מסמכים ארוכים, חוזים או מאמרים שלמים, כל מה שמעבר למגבלה ייחתך. המודל מתאים לפסקאות, שאלות או קטעים קצרים, אך ידרוש מכם לחתוך ולפרק טקסט ארוך מראש.

שאלות
נפוצות

האם המודל תומך בעברית?

לא. המודל אומן והוגדר עבור השפה האנגלית בלבד. הרצה שלו על טקסטים בעברית תניב תוצאות שגויות לחלוטין ולא תייצר וקטורים איכותיים.

האם אפשר להריץ אותו על מעבד רגיל בלי כרטיס מסך?

אפשר להריץ אותו על מעבד לצורך בדיקות או תעבורה נמוכה מאוד, אך המענה יהיה אטי. לייצור בקנה מידה אמיתי נדרש כרטיס מסך כדי לשמור על זמני תגובה סבירים.

מה עושים עם מסמכים שארוכים מ־512 טוקנים?

המודל חותך כל מה שחורג מהמגבלה. הפתרון המקובל הוא לחלק את הטקסט למקטעים קצרים יותר, להוציא וקטור לכל מקטע בנפרד, ולנהל את החיפוש ברמת הפסקה.

איך מריצים

המודל שוקל כ־5 גיגהבייט בקבצים ודורש כרטיס מסך עם לפחות 8 עד 12 גיגה זיכרון כדי לעבוד בנוחות עם גדלי אצווה סבירים בדיוק של float16. מריצים אותו ישירות דרך ספריית sentence-transformers בפייתון, והוא נטען כמו כל מודל ברט סטנדרטי.

אם נפח התעבורה שלכם נמוך או משתנה בצורה חדה, החזקת שרת ייעודי בענן עם מעבד גרפי תעלה לכם יותר מאשר פנייה לפתרונות מנוהלים. להריץ אותו לבד שווה רק כשיש לכם זרם קבוע של בקשות, או כשחייבים להשאיר את המידע בתוך הרשת המקומית בגלל פרטיות.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("thenlper/gte-large")
v = m.encode(["שלום עולם"])

הקבצים

24 קבצים במאגר, 5.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו בתוך מוצר סגור ולהריץ אותו בכל שרת שתבחרו, בלי תמלוגים ובלי חובת פתיחת קוד, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗