text2vec-base-chinese-paraphrase

מה זה

מדובר במודל הטמעה שנבנה על בסיס ernie-3.0-base-zh ואומן בשיטת CoSENT. המטרה שלו היא לייצר ייצוגים וקטוריים של טקסטים בסינית, עם דגש על התאמה בין משפט לפסקה, מה שנקרא sentence to paraphrase, ולא רק השוואה בין משפטים בודדים.

בטבלת ההשוואה שפרסם היוצר, המודל השיג ציון Spearman ממוצע של 63.08 על פני שבעה מבחני ביצועים שונים, הציון הגבוה ביותר מבין החלופות שנבדקו שם, כולל גרסאות מבוססות RoBERTa ודגמים רב לשוניים. זה אומר שבמשימות הבנה של כוונת המשפט בסינית הוא מדרג דמיון בצורה מדויקת יותר מהחלופות בגודל דומה, תוך שמירה על קצב של 3,066 שאילתות בשנייה בבדיקות המחבר.

מתאים ל

• חיפוש סמנטי בסינית

  התאמת שאילתות קצרות לפסקאות מידע במאגר תוכן סיני בדיוק גבוה.

• זיהוי כוונות בצ'אטבוט

  מיפוי ניסוחים שונים של משתמשים לשאלות נפוצות מוגדרות מראש.

• הסרת כפילויות בטקסט

  איתור משפטים בעלי משמעות זהה בניסוח שונה כדי לנקות דאטה-סטים בסינית.

איפה זה נופל

למרות שחלון ההקשר הטכני מוגדר לעד 2,048 טוקנים, המודל אומן עם מגבלת אורך של 256 טוקנים בלבד, וכל טקסט מעבר לזה נחתך אוטומטית. מי שבונה על חיפוש במסמכים שלמים יקבל חיתוך אגרסיבי. בנוסף, המודל מאומן לחלוטין על סינית, והוא חסר תועלת בעברית או באנגלית.

איך מריצים

המשקל הכולל של הקבצים עומד על 901 מגה בייט, ועם 118 מיליון פרמטרים ב־float32 אין שום צורך בחומרה כבדה. מעבד מודרני ממוצע בשרת יריץ אותו בלי להזיע, וכרטיס מסך בסיסי יספיק לעיבוד מהיר במיוחד. אפשר לטעון אותו ישירות דרך ספריית sentence-transformers או בחבילת text2vec הייעודית.

אם כל מה שאתם צריכים זה חיפוש מקומי במאגר נתונים קטן או בינוני בסינית, אין טעם לשלם על API חיצוני. הרצה עצמית כאן זולה, פשוטה, ולא מייצרת תלות ברשת.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("shibing624/text2vec-base-chinese-paraphrase")
v = m.encode(["שלום עולם"])

הקבצים

14 קבצים במאגר, 901 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin471.9 MB
• model.safetensors471.8 MB
• tokenizer.json818.3 KB
• vocab.txt186.8 KB
• README.md10.2 KB
• .gitattributes1.5 KB
• config.json703 B
• training_progress_scores.csv602 B
• tokenizer_config.json394 B
• modules.json229 B
• 1_Pooling/config.json190 B
• special_tokens_map.json125 B
• eval_results.txt69 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא apache-2.0, מה שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה פנימית או מסחרית בתוך מוצר, ללא תשלום תמלוגים. התנאי המרכזי הוא שמירה על הצהרת זכויות היוצרים ומסמך הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗