GPT
הוספת כלי
B

BiomedVLP-CXR-BERT-general

קוד פתוח

microsoftmit2022-05-05

  • transformers
  • pytorch
  • safetensors
  • bert
  • fill-mask

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

מודל שפה קטן וממוקד שמיועד לטקסטים רפואיים, בעיקר סביב צילומי חזה וממצאי דימות. הוא אומן על תקצירים מדעיית ומסמכים קליניים כדי להבין ז'רגון רדיולוגי מדויק.

  • 110Mפרמטרים
  • 512טוקנים בהקשר
  • 840 MBמשקל הקבצים
  • 13,193הורדות בחודש

מה זה

מדובר בגרסת BERT סטנדרטית עם 110 מיליון פרמטרים שעברה אימון ייעודי על מאגרי PubMed יחד עם רשומות קליניות ממאגרי MIMIC-III ו־MIMIC-CXR. המטרה כאן היא לתפוס מבנה וסמנטיקה של דוחות רפואיים באנגלית, תחום שבו מודלים כלליים נוטים להישבר בגלל מונחים טכניים וקיצורים סבוכים.

במדדי השוואה מול חלופות מוכרות כמו ClinicalBERT ו־PubMedBERT, המודל מציג דיוק גבוה משמעותית. הוא משיג רמת דיוק של מעל 60% במשימות הסקת מסקנות ברדיולוגיה, ומציג יעילות טוקניזציה עדיפה עם אוצר מילים של 30,522 מונחים שמותאם ישירות לטקסטים קליניים. ההבדל המרכזי מול הגרסה הייעודית של אותה סדרה הוא שהגרסה הזו משמשת כבסיס כללי יותר למחקר קליני, ולא עברה את שלב הצימוד הרב-מודאלי לתמונות.

מתאים ל

  • השלמת מונחים ברדיולוגיה

    מילוי טוקנים חסרים וניתוח שגיאות בדוחות דימות חזה באנגלית, בזכות אוצר מילים מותאם.

  • הסקת מסקנות קלינית

    אימון נוסף למשימות RadNLI, שבהן המודל מציג ביצועים עדיפים משמעותית על חלופות.

  • בסיס למחקר רב-מודאלי

    שימוש במודל כטקסט אנקודר לפרויקטים שמחברים בין טקסטים רפואיים לתמונות דימות.

איפה זה נופל

המודל מוגבל לאנגלית בלבד, כך שטקסטים רפואיים בעברית או מונחים מעורבבים לא יקבלו ייצוג סביר. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, מה שלא יספיק לתיקים רפואיים ארוכים בלי חיתוך מוקדם.

הנקודה הקריטית ביותר מגיעה מהיוצרים עצמם: הכרטיס מדגיש שכל הטמעה מבצעית במוצר פעיל, מסחרי או אחר, מוגדרת מחוץ לטווח השימוש המיועד. הוא נבנה לצורכי מחקר והוכחת תוצאות בלבד, כך שלא מדובר במערכת שאפשר להטמיע ישירות בבית חולים או בממשק קליני פעיל.

שאלות
נפוצות

האם המודל יודע לקבל תמונות רנטגן?

לא, הגרסה הזו מטפלת בטקסט בלבד תחת ארכיטקטורת BERT קלאסית. לחיבור ישיר עם תמונות רנטגן נדרשת הגרסה הייעודית שעברה אימון מולטי-מודאלי.

אפשר להשתמש בו לניתוח סיכומי ביקור בעברית?

הוא אומן אך ורק על מאגרים באנגלית כמו PubMed ו־MIMIC. הוא אינו תומך בעברית וייכשל בעיבוד מונחים רפואיים מקומיים.

איך מריצים

עם משקל קבצים של כ־840 מגה-בייט וארכיטקטורת BERT קלאסית, אין שום סיבה לשלם על API חיצוני. אפשר להריץ אותו בקלות על מעבד רגיל בכל מחשב פיתוח מודרני, או על כרטיס מסך בסיסי לחלוטין אם רוצים מהירות דגימה גבוהה במיוחד.

אם אתם צריכים רק ניתוח טקסטואלי או השלמת מילים במסמך רפואי, הגרסה הזו נטענת ישירות דרך ספריית transformers. לעומת זאת, אם אתם בונים מערכת שצריכה לקשר ישירות בין תמונת רנטגן לפסקה בטקסט, עדיף להשתמש בגרסת ה־specialized שהותאמה לחיבור תמונה וטקסט.

from transformers import pipeline

pipe = pipeline("fill-mask", model="microsoft/BiomedVLP-CXR-BERT-general")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 840 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות מפורסמים תחת רישיון MIT, שבאופן כללי מאפשר שימוש מסחרי, שינוי והפצה חופשית ללא תשלום תמלוגים, כל עוד שומרים על הצהרת זכויות היוצרים. יחד עם זאת, כרטיס המודל מכיל סייג מפורש שאינו ממליץ על פריסה מעשית במוצרים, ולכן יש פער בין ההיתר המשפטי של הרישיון לבין הייעוד המחקרי שעליו הצהירה מיקרוסופט.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗