sentence_similarity_spanish_es

מה זה

מדובר במודל מבוסס ארכיטקטורת BERT שמיועד לחשב דמיון סמנטי בין משפטים ופסקאות בספרדית בלבד. הבסיס שלו הוא מודל ספרדי קיים, שעבר אימון ייעודי על סט הנתונים stsb_multi_mt עם פונקציית מחיר של דמיון קוסינוס. התוצר הוא וקטור של 768 ממדים לכל קטע טקסט, שמוכן להשוואה או לחיפוש מהיר במסד נתונים וקטורי.

במבחני הביצועים של דמיון טקסטואלי, המודל מציג מתאם ספירמן של כ־0.82 במדידת קוסינוס. המספר הזה מעיד על דירוג טוב מאוד של קרבה בין משפטים יומיומיים שנבדקו במבחן הסטנדרטי. במקום להשתמש במודל ענק שכולל מאה שפות וסוחב עודפי משקל, הוא מספק ביצועים יציבים למי שבונה פיצ'ר ייעודי שפועל כולו בספרדית.

מתאים ל

• חיפוש סמנטי בספרדית

  שליפת פריטים ממאגר לפי משמעות השאילתה בספרדית במקום התאמת מילים יבשה.

• ניקוי כפילויות בטקסט

  זיהוי פניות דומות או משפטים עם משמעות זהה בתוכן שנוצר על ידי משתמשים.

• חלוקה לאשכולות

  קיבוץ תגובות, ביקורות או פסקאות קצרות לפי נושאים על בסיס וקטורים של 768 ממדים.

איפה זה נופל

הוא מוגבל ל־512 טוקנים, ולכן לא מתאים למסמכים ארוכים או לניתוח טקסטים מורכבים מבלי לחתוך אותם לפסקאות קודם. בנוסף, הוא אומן אך ורק על ספרדית. אין לו שום תמיכה בעברית או באנגלית, וערבוב שפות ייתן תוצאות לא אמינות.

האימון נעשה על דאטה-סט בודד של דמיון בין משפטים קצרים. במונחים טכניים או בז'רגון עסקי ספציפי הוא עלול לפספס הקשרים, כך שחובה לבדוק אותו מול הטקסטים האמיתיים של המוצר לפני שמשלבים אותו בחיפוש.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers בשתיים-שלוש שורות פייתון, או כמודל BERT רגיל עם שכבת ממוצע על הטוקנים. גודל הקבצים הכולל הוא 839 מגה-בייט והוא מחזיק כ־110 מיליון פרמטרים בדיוק של float32, כך שאין שום בעיה לדחוף אותו ל־CPU סטנדרטי בשרת או אפילו להריץ אותו מקומית על מחשב פיתוח פשוט.

אם אתם צריכים לאנדקס מיליוני פריטים בבת אחת, כרטיס מסך בסיסי יקצר את הזמנים. במקרים של עומסי קריאות נמוכים או שאילתות בודדות במערכת קטנה, אפשר לוותר על שרת ייעודי ופשוט להריץ את התהליך בתוך הקוד שלכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("hiiamsid/sentence_similarity_spanish_es")
v = m.encode(["שלום עולם"])

הקבצים

16 קבצים במאגר, 839 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin439.5 MB
• model.safetensors439.4 MB
• tokenizer.json480.4 KB
• vocab.txt241.8 KB
• README.md4.5 KB
• .gitattributes1.2 KB
• eval/similarity_evaluation_sts-dev_results.csv770 B
• config.json701 B
• tokenizer_config.json556 B
• similarity_evaluation_stsb-multi-mt-test_results.csv299 B
• modules.json229 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json123 B
• special_tokens_map.json112 B
• sentence_bert_config.json53 B
• eval/readme.md4 B

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא, כולל שינוי הקוד והפצה פנימית או חיצונית כחלק ממוצר שלכם. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗