BioBERT-mnli-snli-scinli-scitail-mednli-stsb

מה זה

בבסיס יושב BioBERT שעבר כוונון ייעודי למשימות דמיון סמנטי והיסק לוגי. הוא אומן על שילוב של מאגרי NLI כלליים כמו SNLI ו־MNLI, יחד עם מאגרים מדעיים ורפואיים כמו SciTail, SciNLI ו־MedNLI, וסגר אימון על STSB עם פונקציית CosineSimilarityLoss במשך 4 תקופות.

המטרה כאן ברורה. מודל שפה רגיל מתקשה להבין ששני מונחים רפואיים שונים לחלוטין במבנה המילה מתארים למעשה את אותו המצב. האימון על נתונים ביו־רפואיים נותן לו יתרון בהבנת הקשרים קליניים, והוא מייצר וקטור בודד למשפט באמצעות שכבת mean pooling מעל שכבות הברט.

בכרטיס המודל אין ציוני ביצועים מדויקים או השוואות מספריות מול מודלים אחרים, אלא רק הפניה כללית למבחני SBERT ומאמר המקור שמציג אותו לצורך אימות טענות רפואיות.

מתאים ל

• אימות טענות רפואיות

  שליפת משפטים רלוונטיים מתוך מאגר מחקרים כדי לבדוק נכונות של טענה בריאותית, בדיוק השימוש שנבדק במאמר.

• חיפוש סמנטי בספרות מדעית

  מציאת כותרות או פסקאות קצרות במאגרים קליניים לפי משמעות ולא לפי התאמת מילים מדויקת.

• קיבוץ תלונות קליניות

  חלוקת משפטים מתוך תיקים רפואיים לקבוצות דמיון על בסיס המשמעות הרפואית שבהם.

איפה זה נופל

ההגבלה הראשונה נמצאת בארכיטקטורה. למרות שחלון ההקשר המקורי של ברט עומד על 512 טוקנים, ההגדרה של SentenceTransformer קבעה בפועל אורך רצף מרבי של 100 טוקנים בלבד. כל מה שתשלחו מעבר לזה ייחתך, ולכן הוא לא מתאים לפסקאות ארוכות או מסמכים מלאים אלא למשפטים קצרים בלבד.

בנוסף, כל נתוני האימון המוצהרים הם באנגלית בלבד. בעברית אין מה לצפות להבנה של שפה רפואית או סמנטיקה קלינית, והתוצאות יהיו לא רלוונטיות.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers בשתי שורות פקודה בפייתון, ומריצים פונקציית encode פשוטה על רשימת מחרוזות. המשקל הכולל של הקבצים עומד על 414 מגה בייט, כך שהוא יושב בלי שום בעיה על מעבד רגיל של שרת זול ואפילו על מחשב נייד ישן.

אין סיבה לשלם ל־API חיצוני או להחזיק כרטיס מסך מפלצתי רק בשבילו, אלא אם אתם צריכים לאנדקס מיליוני פסקאות בזמן אפס. לרוב השימושים, מעבד מקומי מודרני יעשה את העבודה בקצב סביר לגמרי.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("pritamdeka/BioBERT-mnli-snli-scinli-scitail-mednli-stsb")
v = m.encode(["שלום עולם"])

הקבצים

14 קבצים במאגר, 414 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin433.3 MB
• tokenizer.json669.2 KB
• vocab.txt213.4 KB
• README.md4.5 KB
• .gitattributes1.4 KB
• eval/similarity_evaluation_sts-dev_results.csv767 B
• config.json691 B
• tokenizer_config.json412 B
• similarity_evaluation_sts-test_results.csv300 B
• modules.json229 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json124 B
• special_tokens_map.json112 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא cc-by-nc-3.0. מותר להוריד, להריץ, לשתף ולשנות את הקוד והמשקלים, אבל אסור לעשות בו שימוש מסחרי מכל סוג שהוא. אם אתם בונים מוצר שמייצר הכנסה או מיועד לחברה מסחרית, המודל הזה פסול לשימוש.

הרישיון המלא בעמוד המודל ↗