text2vec-base-chinese

מה זה

הבסיס כאן הוא ארכיטקטורת ברט המבוססת על chinese-macbert-base, שעברה אימון בשיטת CoSENT להפקת וקטורים צפופים בגודל 768 ממדים. המטרה העיקרית שלו היא השוואה סמנטית בין משפטים ופסקאות קצרות בסינית, ולא יצירת טקסט.

במבחני התאמת טקסט, המודל מציג ציון ממוצע של 51.61 במדד ספירמן, עם מהירות של 3,008 שאילתות בשנייה. הוא עוקף בקלות מודלים ישנים של וורד-טו-וק או חלופות רב-לשוניות גנריות כמו מיני-אל-אם במבחנים המקומיים, אבל מפסיד בבירור לגרסאות מתקדמות יותר של אותו יוצר שנשענות על ארני ומגיעות לציונים של מעל 63. מדובר בסוס עבודה יציב ומהיר שמספק תוצאות סבירות, אך רחוק מלהיות המוביל בדיוק.

מתאים ל

• חיפוש סמנטי בשאילתות בסינית

  התאמה מהירה של שאלות משתמש למאגר תשובות קיים, עם קצב של אלפי בקשות בשנייה.

• קבוץ משפטים למניעת כפילויות

  זיהוי משפטים דומים בתוכן בתוך מאגרי טקסט גדולים בסינית בעלות חישובית נמוכה.

• מנוע אחזור למערכות שרת מקומי

  מתאים לשרתים ללא כרטיס מסך חזק בזכות תמיכה בהאצת מעבד של אופנווינו.

איפה זה נופל

הבעיה המרכזית היא חלון הקלט. ברירת המחדל חותכת כל מה שמעבר ל־256 תת-מילים, והארכיטקטורה עצמה מוגבלת לתקרה של 512 טוקנים, כך שהוא לא מתאים למסמכים ארוכים אלא למשפטים קצרים בלבד. בנוסף, הוא אומן על סינית בלבד, כך שטקסט בעברית או באנגלית לא יקבל ייצוג שימושי.

מבחני הביצועים חושפים חולשה משמעותית במשימות מסוימות. במבחן PAWSX המודל מקבל ציון נמוך מאוד של 17.21, לעומת מעל 40 בגרסאות המקבילות מבוססות ארני, מה שאומר שהוא מתקשה מאוד לזהות התאמות מורכבות או ניסוחים דומים שמשנים משמעות.

איך מריצים

כדי להריץ אותו צריך רק פייתון ואת הספרייה sentence-transformers או ספריית text2vec של היוצר. הקבצים שוקלים 1.8 גיגה-בייט והמודל כולל 102 מיליון פרמטרים, מה שאומר שהוא ירוץ בלי שום בעיה על כרטיס מסך ביתי פשוט, וגם על מעבד רגיל של שרת מקומי.

יש גרסאות מותאמות שמאיצות את העסק: הרצה באמצעות אופנווינו נותנת פי 4.78 בביצועים על מעבד עם קוונטיזציה של 8 ביט, והרצה בפורמט אונקס ברמת אופטימיזציה 4 מכפילה את המהירות על גבי כרטיס מסך כמעט בלי פגיעה בדיוק. בגלל המשקל הנמוך והמהירות הזו, אין שום סיבה אמיתית לשלם על שירותי ענן חיצוניים אלא אם אתם מתעקשים להימנע מתחזוקת שרת עצמאי.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("shibing624/text2vec-base-chinese")
v = m.encode(["שלום עולם"])

הקבצים

22 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin409.2 MB
• model.safetensors409.1 MB
• onnx/model.onnx407.0 MB
• openvino/openvino_model.bin406.7 MB
• onnx/model_O4.onnx203.4 MB
• onnx/model_qint8_avx512_vnni.onnx102.9 MB
• onnx/tokenizer.json439.1 KB
• openvino/openvino_model.xml363.3 KB
• onnx/vocab.txt109.5 KB
• vocab.txt109.5 KB
• README.md13.7 KB
• .gitattributes1.2 KB
• config.json856 B
• onnx/config.json836 B
• logs.txt546 B
• onnx/tokenizer_config.json394 B
• tokenizer_config.json319 B
• modules.json230 B
• onnx/special_tokens_map.json125 B
• special_tokens_map.json112 B
• 1_Pooling/config.json74 B
• sentence_bert_config.json54 B

הרישיון

הקוד והמשקלים מופצים תחת רישיון אפאצ'י 2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המערכת בתוך מוצר סגור. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗