BiomedVLP-CXR-BERT-specialized
קוד פתוחmicrosoftmit2022-05-11
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
מודל שפה קומפקטי שמיועד לפענוח דוחות רנטגן חזה, ואומן מול תמונות כדי לחבר בין טקסט קליני לצילום. הוא מתאים למי שבונה חיפוש סמנטי או תיוג אוטומטי של ממצאים רדיולוגיים.
- 110Mפרמטרים
- 512טוקנים בהקשר
- 936 MBמשקל הקבצים
- 111,479הורדות בחודש
מה זה
מיקרוסופט לקחה ארכיטקטורת ברט קלאסית עם 12 שכבות ואימנה אותה בשלבים על מאגרי PubMed, MIMIC-III ודוחות MIMIC-CXR. בשלב האחרון חיברו אותו למודל תמונה ResNet-50 בשיטה שמזכירה את CLIP, כך שהטוקן הראשון במודל מייצג טקסט שמתואם למרחב הוקטורי של צילומי רנטגן חזה.
במבחני RadNLI הוא מגיע לדיוק של 65.21 אחוז לעומת 47.67 של ClinicalBERT, ובחיזוי מילים מוסתרות הוא מגיע ל־81.58 אחוז לעומת 39.84. אוצר המילים שלו הותאם לטרמינולוגיה של רדיולוגיה עם 30,522 מילים, מה שמקצר את אורך הטקסט המקודד ב־58 טוקנים בממוצע ומאפשר לו לקלוט יותר מידע קליני בכל חלון בלי לחתוך משפטים באמצע.
מתאים ל
- חיפוש דוחות רנטגן
מייצר וקטורים שמבינים מונחים רדיולוגיים ומאפשרים למצוא מקרים דומים לפי תיאור קליני.
- איתור ממצאים בתמונה
חיבור המודל לרשת ResNet-50 מאפשר לסמן אזורים בצילום החזה שמתאימים למשפט מתוך הפענוח.
- השלמת טקסט קליני
מנחש מונחים חסרים בדוחות פענוח של בית חזה ברמת דיוק גבוהה משמעותית ממודלי שפה כלליים.
איפה זה נופל
הכרטיס מדגיש שהוא אומן אך ורק באנגלית, כך שהוא חסר תועלת לחלוטין מול סיכומי מחלה בעברית מבתי חולים בארץ. בנוסף, מיקרוסופט מציינת במפורש שכל הטמעה שלו במערכת אמיתית, מסחרית או קלינית, מוגדרת מחוץ לטווח השימוש והוא מיועד לצורכי מחקר בלבד. אסור להסתמך עליו לצורך קבלת החלטות רפואיות או אבחון בפועל.
שאלות
נפוצות
האם המודל מבין דוחות רדיולוגיה בעברית?
לא. הוא אומן על קורפוסים באנגלית בלבד כמו MIMIC ו־PubMed. אם תזינו לו טקסט בעברית תקבלו תוצאות שגויות או טוקנים לא מוכרים.
האם אפשר להשתמש בו למיון צילומים במרפאה?
מפתחי המודל אוסרים במפורש על שימוש מבצעי או קליני והגדירו אותו למחקר בלבד. הוא לא עבר תיקוף רגולטורי לאבחון מטופלים ואי אפשר להסתמך עליו בהחלטות רפואיות.
איך מריצים
בזכות משקל של 936 מגה בייט ו־110 מיליון פרמטרים, אפשר להריץ אותו בלי שום בעיה על מעבד רגיל בכל שרת או לפטופ מודרני, או על כרטיס מסך בסיסי ביותר עם פחות מ־2 גיגה זיכרון. טוענים אותו ישירות דרך transformers של פייתון ומקבלים וקטורים או השלמות מסיכה.
גרסת CXR-BERT-general מתאימה יותר אם אתם רוצים לאמן מודל משלכם על תחומים רפואיים אחרים, בעוד הגרסה הזו מיועדת ספציפית לחיבור בין רנטגן חזה לטקסט. בגלל שהוא כל כך קל ורץ מקומית באלפיות שנייה, אין שום סיבה לשלם על שירותי ענן חיצוניים או לחשוף מידע רפואי רגיש ברשת.
from transformers import pipeline
pipe = pipeline("fill-mask", model="microsoft/BiomedVLP-CXR-BERT-specialized")
print(pipe("שלום"))הקבצים
11 קבצים במאגר, 936 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא MIT, מה שאומר שמבחינה משפטית מותר לעשות בקוד ובמשקלים כמעט הכל, כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, היוצרים מדגישים בתיעוד שהם מתנגדים לכל שימוש מבצעי מחוץ למחקר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש