gte-large-zh

מה זה

מדובר במודל מבוסס ארכיטקטורת ברט עם עשרים וארבע שכבות, שמיועד למשימות דמיון בין משפטים ואחזור מידע. למרות שתגית השפה המוצהרת בקובץ היא אנגלית, כל מבחני הביצועים שלו נערכו על בנצ'מרק C-MTEB שמיועד לסינית, והסיומת של שמו מבהירה בדיוק מה קהל היעד האמיתי שלו. הוא מייצר ייצוגים וקטוריים של טקסטים כדי לאפשר חיפוש לפי משמעות ולא לפי מילות מפתח יבשות.

התוצאות במבחנים מראות פערים חדים מאוד בהתאם לתחום. באחזור מידע רפואי ובדירוג תשובות לשאלות בריאות הוא מגיע למדדי דיוק מרשימים, כמו MRR של מעל 88 נקודות, וגם באחזור כללי כמו DuRetrieval הדיוק הראשוני שלו גבוה מאוד עם MRR שעובר את ה־92. לעומת זאת, במשימות סיווג סנטימנט מסחרי או זיהוי כוונות הוא מתקשה יותר ומציג ציונים סביב 47 עד 75 נקודות דיוק, מה שאומר שהוא מצטיין בעיקר בהבנת הקשר עמוק ושאילתות מורכבות.

מתאים ל

• חיפוש סמנטי בסינית

  הוא מספק דיוק גבוה במיוחד בשאילתות טקסט כלליות ומסחריות.

• דירוג מחדש לשאלות רפואיות

  המבחנים מציגים מעל 88 נקודות MRR במאגרי שאלות ותשובות רפואיים.

• ניתוח וקיבוץ טקסטים

  הוא מגיע לתוצאות הפרדה טובות בקיבוץ כתבות חדשותיות.

איפה זה נופל

חלון ההקשר מוגבל לחלוטין ל־512 טוקנים, ולכן הוא לא מתאים לפסקאות ארוכות או למסמכים שלמים בלי שתפרקו אותם מראש למקטעים קטנים. מעבר לזה, במשימות דמיון טקסטואלי מסוימות כמו PAWSX ו־QBQTC הוא קיבל ציוני קורלציה נמוכים מאוד של 33 עד 38 נקודות, כך ששינויי ניסוח קלים עלולים להטעות אותו לגמרי. בנוסף, אין שום עדות ליכולת שלו לעבוד עם עברית.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית sentence-transformers הרגילה בפייתון, בדיוק כמו כל מודל דמיון סטנדרטי. עם משקל של 1.2 גיגהבייט ודיוק חצי צף, כרטיס מסך בסיסי עם 4 עד 6 גיגה זיכרון יספיק לחלוטין כדי להחזיק אותו בזיכרון ולהריץ אצוות קטנות במהירות גבוהה.

אם אתם לא צריכים שיהוי של אלפיות שנייה או שאין לכם חומרה ייעודית בענן, שירותי אירוח חיצוניים שמחזיקים שרתי הסקה יכולים לחסוך תחזוקה. אבל בגלל המשקל הקל והעובדה שזה בסך הכול ברט, הרצה עצמית על שרת פנימי קטן היא זולה, פשוטה ולא מצדיקה תלות בספק חיצוני אם הפרטיות של המידע חשובה לכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("thenlper/gte-large-zh")
v = m.encode(["שלום עולם"])

הקבצים

12 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin651.1 MB
• model.safetensors651.1 MB
• tokenizer.json439.4 KB
• vocab.txt109.5 KB
• README.md32.6 KB
• .gitattributes1.5 KB
• config.json810 B
• tokenizer_config.json394 B
• modules.json386 B
• 1_Pooling/config.json192 B
• special_tokens_map.json125 B
• sentence_bert_config.json57 B

הרישיון

הוא מופץ תחת רישיון MIT. זה אומר שמותר לכם להשתמש בו לצרכים מסחריים, להטמיע אותו במוצרים פנימיים או חיצוניים ולשנות את הקוד והמשקלים בחופשיות, כל עוד אתם שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗