gte-base

מה זה

מדובר במודל וקטורי מבוסס ארכיטקטורת ברט עם שתים עשרה שכבות, שתוכנן למשימות של דמיון בין טקסטים ושליפת מידע. הוא קורא קטעי טקסט וממיר אותם למרחב שבו משפטים בעלי משמעות דומה נמצאים קרוב זה לזה. התוצאה היא כלי עבודה נוח למערכות חיפוש טקסטואליות, קיבוץ מסמכים ומיון נתונים.

במבחני הביצועים של לוח התוצאות, המודל מציג פערים ברורים בין סוגי המשימות. בסיווג פולאריות של ביקורות הוא פוגע בלמעלה מתשעים ואחד אחוזי דיוק, ובדירוג מחדש של שאלות טכניות הוא מגיע למדד של כמעט שבעים וחמישה אחוזים. לעומת זאת, במשימות אחזור מורכבות יותר מתוך מאגרי שאלות ותשובות, הדיוק הראשוני בצמרת התוצאות צונח לאזור עשרים עד ארבעים אחוזים בלבד. המשמעות היא שהוא מצטיין בזיהוי כוונות ודמיון סמנטי ישיר, אבל מתקשה כשנדרשת שליפה חד משמעית של תשובה בודדת מתוך מאגר טכני עמוס.

מתאים ל

• חיפוש סמנטי באנגלית

  הוא מזהה שאלות דומות ומשפטים חופפים באנגלית בדיוק גבוה, ומחזיר מסמכים רלוונטיים במהירות.

• סיווג ביקורות מוצר

  הוא השיג מעל תשעים ואחד אחוזי דיוק במבחני סנטימנט, ולכן הוא בחירה טבעית למיון פידבקים.

• דירוג מחדש של תוצאות

  הוא מקבל ציון גבוה בסידור שאלות טכניות כפולות, מה שמתאים לשיפור שלב שני במנועי חיפוש.

איפה זה נופל

המגבלה המרכזית היא השפה. המודל אומן על אנגלית בלבד, ואם תזינו לו עברית תקבלו וקטורים חסרי פשר. בנוסף, חלון ההקשר מוגבל לחמש מאות ושנים עשר טוקנים, כך שהוא עיוור למסמכים ארוכים אם לא חותכים אותם מראש. במשימות שליפה מורכבות במתמטיקה הוא מציג תוצאות חלשות מאוד, עם מדד דיוק ראשוני של פחות משמונה עשרה אחוזים. אם המערכת שלכם נשענת על ניסוחים טכניים מסובכים, תצטרכו להסתמך על שלב סינון נוסף.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers בפייתון. הקבצים שוקלים כגיגה וחצי, כך שאין צורך במערך שרתים מורכב. כל מעבד מודרני ממוצע יכול להריץ אותו בהספק סביר, ואם יש לכם כרטיס גרפי פשוט עם שתי גיגה זיכרון, תקבלו קצב המרה גבוה מאוד.

משתלם להרים אותו לבד אם אתם מעבדים נפחים קבועים של טקסט בתוך הרשת הפנימית ורוצים להימנע מחיובים חודשיים. מצד שני, אם יש לכם קפיצות תנועה חריגות ואינכם רוצים לתחזק שרת פייתון באוויר עשרים וארבע שעות ביממה, שירות ענן חיצוני יחסוך כאב ראש.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("thenlper/gte-base")
v = m.encode(["שלום עולם"])

הקבצים

24 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx435.8 MB
• openvino/openvino_model.bin435.6 MB
• pytorch_model.bin219.0 MB
• model.safetensors219.0 MB
• onnx/model_O4.onnx217.8 MB
• onnx/model_qint8_avx512_vnni.onnx110.1 MB
• openvino/openvino_model_qint8_quantized.bin110.0 MB
• onnx/tokenizer.json711.7 KB
• tokenizer.json711.7 KB
• openvino/openvino_model_qint8_quantized.xml664.3 KB
• openvino/openvino_model.xml363.3 KB
• onnx/vocab.txt231.5 KB
• vocab.txt231.5 KB
• README.md68.1 KB
• .gitattributes1.5 KB
• onnx/config.json630 B
• config.json618 B
• modules.json385 B
• onnx/tokenizer_config.json314 B
• tokenizer_config.json314 B
• 1_Pooling/config.json190 B
• onnx/special_tokens_map.json125 B
• special_tokens_map.json125 B
• sentence_bert_config.json57 B

הרישיון

רישיון פתוח לחלוטין מסוג MIT. אתם חופשיים להשתמש בו במוצרים מסחריים, לשנות אותו, להפיץ אותו ולהטמיע אותו בקוד סגור. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים של היוצר המקורי בתוך קבצי הפרויקט שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗