gte-large-en-v1.5

מה זה

מדובר במודל ייעודי להשוואת טקסטים, חיפוש סמנטי, מיון וקיבוץ באנגלית, שאומן על נתוני c4 ומבוסס על 24 שכבות. הייחוד העיקרי שלו מול מודלי בסיס ותיקים הוא התמיכה בטקסטים ארוכים, מה שחוסך את הצורך לפרק חוזים או מאמרים לפסקאות בודדות בזמן החיפוש.

התוצאות במבחני הביצועים מראות פערים ברורים בין סוגי המשימות. בסיווג פשוט כמו זיהוי סנטימנט בביקורות אמזון הוא פוגע ב־93.97% דיוק, אבל במשימות מורכבות יותר של ביקורות רב־תחומיות הוא צונח ל־54.19%. באחזור מידע טכני בפורומים של מפתחים, מדד הדיוק הממוצע בתוצאה הראשונה עומד סביב 25 עד 30 אחוז בלבד, מה שאומר שבמערכות חיפוש אי אפשר להסתמך על התוצאה הראשונה שלו וצריך להביא כמה תוצאות קדימה.

מתאים ל

• אינדוקס מסמכים ארוכים

  מאפשר לעבד מאמרים ודוחות באנגלית בשלמותם בזכות חלון קלט רחב, בלי לחלק אותם לחלקים קטנים.

• סינון ומיון ביקורות

  מתאים לזיהוי קוטביות וסנטימנט בטקסטים צרכניים באנגלית, משימה שבה הוא מציג דיוק של כמעט 94 אחוז.

• חיפוש סמנטי לשאלות ותשובות

  טוב לאיתור שאלות כפולות במאגרי ידע טכניים באנגלית, כל עוד מציגים למשתמש מספר תוצאות מובילות.

איפה זה נופל

הבעיה המרכזית שלו היא התמקדות באנגלית בלבד. הוא לא מאומן לעברית, ואם תנסו להזין לו טקסט מקומי תקבלו ייצוגים לא מדויקים שיפגעו בחיפוש. בנוסף, הארכיטקטורה מוגדרת כמודל מותאם אישית ולא סוג סטנדרטי, מה שעשוי לדרוש הרצת קוד חיצוני בטעינה. בנושאי אחזור מורכבים במדעים מדויקים כמו מתמטיקה הוא מציג תוצאות חלשות מאוד של 15.76% דיוק בתוצאה הראשונה.

איך מריצים

המשקל הכולל של הקבצים מגיע לשישה גיגה־בייט בדיוק מלא של float32. כדי לטעון אותו ולהריץ חישוב וקטורים בזמן סביר תצטרכו כרטיס מסך עם לפחות שמונה עד שישה עשר גיגה־בייט זיכרון ייעודי, במיוחד אם אתם מתכוונים לנצל את כל האורך של הטקסט ולשלוח באצ'ים גדולים.

אפשר להריץ אותו מקומית בספריית transformers הרגילה של פייתון או דרך transformers.js בסביבות תואמות. אם התשתית שלכם יושבת על מעבדים בלבד בלי כרטיס גרפי, או שהעומס מגיע בגלים לא צפויים, החזקת שרת ייעודי בגודל הזה תעלה יותר מקריאה לשירות מנוהל חיצוני.

from transformers import pipeline

pipe = pipeline("sentence-similarity", model="Alibaba-NLP/gte-large-en-v1.5")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 6.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx1.7 GB
• model.safetensors1.7 GB
• onnx/model_fp16.onnx873.3 MB
• onnx/model_int8.onnx445.8 MB
• onnx/model_quantized.onnx445.8 MB
• onnx/model_uint8.onnx445.8 MB
• onnx/model_q4.onnx386.7 MB
• onnx/model_bnb4.onnx361.5 MB
• tokenizer.json711.7 KB
• vocab.txt231.5 KB
• README.md71.8 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.4 KB
• config.json1.3 KB
• special_tokens_map.json695 B
• 1_Pooling/config.json297 B
• modules.json229 B
• sentence_bert_config.json54 B

הרישיון

המודל שוחרר תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗