pubmedbert-base-embeddings

מה זה

מדובר במודל שמבוסס על PubMedBERT ועבר כוונון ייעודי למשימות דמיון בין משפטים. הוא ממפה טקסט למרחב וקטורי של 768 ממדים באמצעות ארכיטקטורת ברט עם 12 שכבות. האימון שלו התבסס על זוגות של כותרות ותקצירים מתוך מאגר פאבמד, מה שמעניק לו הבנה של מונחים ביו-רפואיים שנוטים ללכת לאיבוד במודלים כלליים.

בבדיקות מול מודלים מובילים באותו סדר גודל, כמו gte-base או bge-base, הוא מציג יתרון עקבי על מבחנים של ספרות רפואית. במדד פירסון על משימות כמו PubMed QA וסיכומי מאמרים, הוא עוקף מודלים כלליים עם ממוצע של 95.62 לעומת 95.37 של gte ו־93.78 של bge. ההבדלים האלה מורגשים בעיקר בקישור מדויק בין שאלות קליניות לתשובות ארוכות.

מתאים ל

• חיפוש סמנטי במאמרים

  שליפת מחקרים רפואיים לפי כוונת השאילתה, בזכות אימון ייעודי על זוגות כותרות ותקצירים מפאבמד.

• שכבת אחזור למערכות RAG

  הזנת פסקאות רפואיות רלוונטיות למודלי שפה, עם התאמה גבוהה של 93.27 במבחני PubMed QA.

• חלוקה לקבוצות לפי נושא

  קיבוץ מאגר גדול של תמציות מדעיות וקטוריות במרחב של 768 ממדים לזיהוי מגמות ומחקרים דומים.

איפה זה נופל

הוא מוגבל לטקסטים באנגלית בלבד ולא יזהה מונחים בעברית. חלון ההקשר עומד על 512 טוקנים, כך שאי אפשר לדחוס לתוכו מאמר שלם בלי לחתוך אותו לפסקאות קודם לכן. בנוסף, האימון התמקד כולו בטקסטים מתוך פאבמד. אם תנסו להשתמש בו לחיפוש בטקסטים כלליים, שיחות יומיומיות או תוכן שיווקי, הביצועים שלו יהיו נחותים משמעותית בהשוואה למודלי הטמעה רגילים.

איך מריצים

המשקל הכולל של הקבצים עומד על 836 מגה-בייט, עם 109 מיליון פרמטרים בדיוק float32. זה גודל קל שרץ בקלות על מעבד רגיל בכל שרת פשוט, ובכרטיס מסך בסיסי הוא יקודד כמויות גדולות של טקסט במהירות גבוהה בלי לדרוש משאבים חריגים.

אפשר לטעון אותו ישירות דרך הספרייה sentence-transformers או דרך txtai בשלוש שורות פייתון. אין כאן שום סיבה טכנית להסתמך על שירות ענן חיצוני או לשלם על קריאות API, כי ההרצה המקומית פשוטה, זולה ושומרת על המידע הרפואי בתוך התשתית שלכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("NeuML/pubmedbert-base-embeddings")
v = m.encode(["שלום עולם"])

הקבצים

15 קבצים במאגר, 836 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin438.0 MB
• model.safetensors438.0 MB
• tokenizer.json706.3 KB
• vocab.txt226.2 KB
• README.md6.3 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• config.json667 B
• similarity_evaluation_results.csv301 B
• modules.json229 B
• 1_Pooling/config.json190 B
• special_tokens_map.json125 B
• config_sentence_transformers.json123 B
• added_tokens.json74 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו במוצרים מסחריים, לשנות את המשקלים, להפיץ אותו מחדש ולשלב אותו במערכות פנימיות. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי אחריות משפטית מצד המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗