paraphrase-MiniLM-L6-v2

מה זה

מדובר במודל שממפה משפטים ופסקאות למרחב וקטורי דחוס בן 384 ממדים. הוא נשען על ארכיטקטורת BertModel עם שש שכבות בלבד וכמעט 23 מיליון פרמטרים. היעד המרכזי שלו הוא חישוב דמיון בין משפטים, משימות של קיבוץ טקסטים וחיפוש סמנטי.

הגודל הזעיר שלו חריג בנוף של מודלי שפה, והוא מיועד למקומות שבהם השהיה נמוכה קריטית יותר מדיוק מוחלט. במקום להעמיס רשתות ענק של מאות מיליוני פרמטרים, הוא רץ בזול ובמהירות. עם זאת, הוא לא מיועד לטקסטים ארוכים, והארכיטקטורה שלו מוגדרת פנימית לחיתוך באורך של 128 טוקנים באמצעות ממוצע וקטורים, כך שעיקר הכוח שלו נשאר במשפטים בודדים.

מתאים ל

• חיפוש סמנטי מקומי

  שליפת משפטים דומים מתוך מאגר מקומי במהירות גבוהה וללא צורך במעבד גרפי.

• זיהוי כפילויות

  השוואת כותרות או שאלות משתמשים כדי לאתר ניסוחים מקבילים באותו נושא.

• חלוקה לקבוצות

  קיבוץ אוטומטי של פניות קצרות ומשובים לפי קרבה סמנטית ברמת המשפט.

איפה זה נופל

ההגדרה הפנימית בארכיטקטורה חותכת רצפים מעבר ל־128 טוקנים, למרות נתוני חלון רחבים יותר ברמת הבסיס. אם תזרקו עליו מסמכים שלמים או פסקאות ארוכות, הוא יתעלם מהסוף שלהם. בנוסף, הוא אומן בעיקר על דמיון ניסוחי ופרפרזות, כך שחיפוש מורכב של שאלות ותשובות עלול להניב תוצאות חלשות. הכרטיס גם לא מדווח על תמיכה רב-לשונית, ולכן בדיקה על טקסט בעברית היא חובה לפני שבונים עליו.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers בפייתון בשתי שורות קוד, ומקבלים מערך מספרים. אפשר להשתמש גם ישירות בספריית transformers של HuggingFace, אבל אז צריך לבצע את פעולת ה־mean pooling על שכבת הפלט באופן ידני.

בזכות 23 מיליון פרמטרים ומשקל קבצים של 845 מגה-בייט, אין שום צורך במאיץ גרפי ייעודי. מעבד רגיל של שרת זול או מחשב פיתוח מריץ אותו בקלות ובאלפי דגימות בשנייה. לפנות ל־API חיצוני בשביל מודל כזה זו בדרך כלל טעות, כי זמני הרשת יהיו איטיים פי כמה מזמן החישוב המקומי.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("sentence-transformers/paraphrase-MiniLM-L6-v2")
v = m.encode(["שלום עולם"])

הקבצים

27 קבצים במאגר, 845 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h591.0 MB
• pytorch_model.bin90.9 MB
• model.safetensors90.9 MB
• onnx/model.onnx90.4 MB
• onnx/model_O1.onnx90.4 MB
• onnx/model_O2.onnx90.3 MB
• onnx/model_O3.onnx90.3 MB
• openvino/openvino_model.bin90.3 MB
• onnx/model_O4.onnx45.2 MB
• onnx/model_quint8_avx2.onnx23.0 MB
• onnx/model_qint8_arm64.onnx23.0 MB
• onnx/model_qint8_avx512.onnx23.0 MB
• onnx/model_qint8_avx512_vnni.onnx23.0 MB
• openvino/openvino_model_qint8_quantized.bin22.9 MB
• tokenizer.json466.1 KB
• openvino/openvino_model_qint8_quantized.xml368.2 KB
• vocab.txt231.5 KB
• openvino/openvino_model.xml211.3 KB
• README.md3.5 KB
• .gitattributes744 B
• config.json629 B
• tokenizer_config.json314 B
• modules.json229 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json122 B
• special_tokens_map.json112 B
• sentence_bert_config.json53 B

הרישיון

הקוד והמשקלים זמינים תחת רישיון apache-2.0. מותר להשתמש בו במוצרים מסחריים, לשנות את הקבצים ולהפיץ אותם מחדש. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי בתוך המוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗