vietnamese-embedding

מה זה

מדובר במודל וקטורי שמייצר ייצוג של 768 ממדים לטקסטים בוייטנאמית בלבד. הוא נשען על ארכיטקטורת RoBERTa ועבר תהליך אימון של ארבעה שלבים, כולל אימון ניגודי עם SimCSE, כוונון על דאטה סטים כמו ViNLI ו־XNLI, והרחבת נתונים ייעודית למשימות דמיון סמנטי.

במבחני ביצועים מול מודלים מקבילים באותו סדר גודל של 135 מיליון פרמטרים, הוא מציג מתאם ספירמן ממוצע של 82.45 במבחני STS, לעומת 78.11 של המתחרה הקרוב אליו. המספרים האלה מראים שהוא מדורג טוב יותר בהבנת קרבה בין משפטים, בעיקר בגלל הדאטה הסינתטי שנוסף בשלב האימון האחרון.

מתאים ל

• חיפוש סמנטי בוייטנאמית

  שליפת שאלות ותשובות או מאמרים קצרים לפי משמעות ולא לפי מילים מדויקות.

• קיבוץ תלונות או פניות

  חלוקה אוטומטית של הודעות משתמשים לקבוצות נושאים דומות בשירות לקוחות.

• זיהוי כפילויות בטקסט

  השוואת משפטים כדי לאתר שאלות חוזרות או תוכן מועתק באתרי תוכן מקומיים.

איפה זה נופל

הוא מוגבל לוייטנאמית בלבד, כך שטקסט מעורב עם אנגלית או שפות אחרות יניב תוצאות נחותות. בנוסף, חלון ההקשר מוגבל לכ־258 טוקנים, מה שאומר שהוא מתאים למשפטים בודדים או פסקאות קצרות ולא למסמכים שלמים. אם תנסו לדחוף אליו טקסט ארוך בלי לחתוך מראש, המידע פשוט ייקטם.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers, אבל חייבים להעביר את הטקסט דרך pyvi לצורך טוקניזציה לפני שמקודדים. המשקל שלו הוא ג'יגה בייט בודד בזיכרון, כך שהוא רץ בקלות על כל מעבד מודרני בלי לחשוב בכלל על כרטיס מסך, אלא אם יש לכם תעבורה כבדה בזמן אמת.

אין פה כמה גרסאות משקל לבחור מהן, יש רק את הגרסה הזו. בגלל הגודל הקומפקטי שלו, אין שום סיבה טכנית או כלכלית לשלם ל־API חיצוני. עדיף להרים אותו עצמאית בתוך הקונטיינר שלכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("dangvantuan/vietnamese-embedding")
v = m.encode(["שלום עולם"])

הקבצים

21 קבצים במאגר, 1.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors540.0 MB
• onnx/model.onnx538.0 MB
• bpe.codes1.1 MB
• onnx/bpe.codes1.1 MB
• onnx/vocab.txt895.3 KB
• vocab.txt895.3 KB
• README.md9.6 KB
• .gitattributes1.5 KB
• onnx/tokenizer_config.json1.2 KB
• tokenizer_config.json1.1 KB
• onnx/special_tokens_map.json965 B
• special_tokens_map.json965 B
• onnx/config.json785 B
• config.json753 B
• 1_Pooling/.ipynb_checkpoints/config-checkpoint.json296 B
• 1_Pooling/config.json296 B
• modules.json229 B
• config_sentence_transformers.json171 B
• sentence_bert_config.json53 B
• added_tokens.json22 B
• onnx/added_tokens.json22 B

הרישיון

רישיון apache-2.0 חופשי לחלוטין. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, להריץ אותו בענן פרטי או להפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗