paraphrase-mpnet-base-v2

מה זה

מדובר במודל שממיר משפטים ופסקאות לווקטורים צפופים בגודל 768 ממדים, ומבוסס על ארכיטקטורת MPNetModel עם 12 שכבות וכמעט 110 מיליון פרמטרים. המטרה העיקרית שלו היא זיהוי דמיון בין ניסוחים שונים של אותו רעיון, מה שהופך אותו לבחירה נפוצה למשימות של חיפוש סמנטי וחלוקה לאשכולות.

בניגוד למודלים קלים יותר שמתמקדים רק במהירות, הגרסה הזו נותנת משקל לאיכות הייצוג של המשפט השלם. המבנה הפנימי מבצע ממוצע על הטוקנים של הפלט במקום להסתמך רק על טוקן ההתחלה, מה שמסייע בשמירה על המשמעות הכוללת של הטקסט.

מתאים ל

• חיפוש סמנטי באנגלית

  התאמת שאילתות קצרות למאגר שאלות ותשובות, גם כשהמשתמש משתמש במילים שונות מהטקסט המקורי.

• חלוקת טקסטים לקבוצות

  זיהוי כפילויות וקיבוץ פניות תמיכה או משובים לפי נושאים משותפים ברמת דיוק גבוהה.

• שליפת מידע למערכות RAG

  ייצוג מדויק של פסקאות קצרות לצורך שליפה מהירה מתוך בסיס נתונים וקטורי.

איפה זה נופל

חלון ההקשר מוגבל ל־514 טוקנים, ולכן הוא לא מתאים למסמכים ארוכים או לספרים שלמים בלי לחתוך אותם קודם לפסקאות. בנוסף, מדובר במודל שפורסם ב־2022 והוא מיועד בעיקר לאנגלית. אם המוצר שלכם פונה לקהל ישראלי ודורש חיפוש בעברית, הביצועים שלו יהיו בעייתיים מאוד ותצטרכו לבדוק מודלים רב-לשוניים ייעודיים.

איך מריצים

אפשר להריץ אותו בשתי שורות קוד בפייתון דרך הספרייה sentence-transformers, או לחלופין להרים קונטיינר של Text Embeddings Inference שמספק ממשק תואם OpenAI. עם כארבעה גיגה בייט של קבצים וגודל של 109 מיליון פרמטרים, הוא רץ בלי שום בעיה על מעבד רגיל, כך שלא חובה להחזיק מעבד גרפי ייעודי כדי להתחיל לעבוד איתו.

כרטיס מסך פשוט יקפיץ את קצב העיבוד אם אתם צריכים לאנדקס מיליוני שורות בבת אחת. אם נפח הטקסט שלכם קטן ואין לכם שרת זמין, קריאה לשרת מנוהל חיצוני תחסוך את התחזוקה, אבל לכל צורך מקומי או פרטי ההרצה העצמית פשוטה וזולה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("sentence-transformers/paraphrase-mpnet-base-v2")
v = m.encode(["שלום עולם"])

הקבצים

27 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5438.2 MB
• pytorch_model.bin438.0 MB
• model.safetensors438.0 MB
• onnx/model.onnx435.8 MB
• onnx/model_O1.onnx435.7 MB
• onnx/model_O2.onnx435.7 MB
• onnx/model_O3.onnx435.7 MB
• openvino/openvino_model.bin435.6 MB
• onnx/model_O4.onnx217.9 MB
• onnx/model_quint8_avx2.onnx110.2 MB
• onnx/model_qint8_arm64.onnx110.1 MB
• onnx/model_qint8_avx512.onnx110.1 MB
• onnx/model_qint8_avx512_vnni.onnx110.1 MB
• openvino/openvino_model_qint8_quantized.bin110.0 MB
• openvino/openvino_model_qint8_quantized.xml741.9 KB
• tokenizer.json466.2 KB
• openvino/openvino_model.xml432.8 KB
• vocab.txt231.5 KB
• README.md4.7 KB
• tokenizer_config.json1.2 KB
• .gitattributes744 B
• config.json594 B
• special_tokens_map.json239 B
• modules.json229 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json122 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, להריץ אותו בענן פרטי או להפיץ אותו כחלק מתוכנה סגורה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗