vietnamese-sbert

מה זה

מדובר בהתאמה של ארכיטקטורת RobertaModel עם 12 שכבות שממירה משפטים ופסקאות למרחב וקטורי של 768 ממדים. המטרה שלו ממוקדת לחלוטין בוייטנאמית, והוא מיועד למשימות כמו חלוקה לאשכולות, בדיקת דמיון בין משפטים ומנועי חיפוש פנימיים שצריכים להבין את המשמעות של השפה הזו.

הוא אומן במשך 4 תקופות אימון עם פונקציית הפסד של CosineSimilarityLoss ומשתמש במיצוע טוקנים מעל השכבה האחרונה. כרטיס המודל לא חושף נתוני מדידה עצמאיים או השוואה מול גרסאות אחרות, ומפנה לבנצ'מרק כללי בלי לספק מספרים ספציפיים על הדיוק שלו.

מתאים ל

• חיפוש סמנטי בוייטנאמית

  ממיר שאילתות ומשפטים לווקטור של 768 ממדים שמאפשר לאתר תוכן לפי כוונה ולא רק לפי מילים מדויקות.

• אשכול טקסטים קצרים

  מתאים לקיבוץ פניות משתמשים, כותרות או ביקורות קצרות בווייטנאמית לקבוצות נושאים דומות.

• זיהוי כפילויות תוכן

  מאפשר להשוות מרחק קוסינוס בין שני משפטים כדי לראות אם הם מביעים את אותו רעיון בניסוח שונה.

איפה זה נופל

המגבלה הכי בולטת היא אורך הקלט, שנחתך סביב 256 עד 258 טוקנים. מסמכים ארוכים, כתבות מלאות או חוזים פשוט יאבדו מידע אם לא תפרקו אותם מראש למשפטים קצרים.

מעבר לזה, המודל אומן על וייטנאמית בלבד. אין לו יכולת להתמודד עם עברית או אנגלית כבסיס להשוואה, והיוצר שלו לא צירף מידע על הדאטה שעליו הוא אומן או תוצאות בדיקה רשמיות.

איך מריצים

המשקל הכולל של הקבצים עומד על 517 מגה בייט בדיוק float32. זה גודל קומפקטי מאוד שאפשר להריץ בלי בעיה על מעבד רגיל בכל שרת פשוט, בלי להזדקק לכרטיס מסך ייעודי, באמצעות ספריית sentence-transformers הרגילה בפייתון.

בגלל שמדובר במודל קטן ומקומי, אין שום סיבה אמיתית לחפש לו שירות ענן חיצוני או לשלם על קריאות API. הוא רץ ישירות בקוד שלכם בכמה שורות, כל עוד יש לכם חצי ג'יגה פנוי בזיכרון.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("keepitreal/vietnamese-sbert")
v = m.encode(["שלום עולם"])

הקבצים

14 קבצים במאגר, 517 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin540.1 MB
• bpe.codes1.1 MB
• vocab.txt895.3 KB
• README.md3.9 KB
• .gitattributes1.2 KB
• eval/similarity_evaluation_results.csv767 B
• config.json752 B
• tokenizer_config.json313 B
• modules.json229 B
• 1_Pooling/config.json190 B
• special_tokens_map.json150 B
• config_sentence_transformers.json122 B
• sentence_bert_config.json53 B
• added_tokens.json17 B

הרישיון

היוצר לא דיווח על רישיון שימוש בעמוד המודל. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות ואין אישור מפורש להשתמש בו במוצר מסחרי או להפיץ אותו מחדש. אם אתם בונים מערכת לחברה או ללקוח, זו נקודה בעייתית שדורשת פנייה ישירה למפתח לפני שנוגעים בקוד.

הרישיון המלא בעמוד המודל ↗