BiomedVLP-BioViL-T
קוד פתוחmicrosoftmit2023-02-17
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
מודל שפה ותמונה קומפקטי שמיועד לניתוח צילומי חזה רדיולוגיים ודוחות רפואיים. הוא נבנה במיוחד כדי להבין שינויים לאורך זמן בין צילומים עוקבים ולא רק תמונה בודדת.
- 110Mפרמטרים
- 512טוקנים בהקשר
- 946 MBמשקל הקבצים
- 3,294הורדות בחודש
מה זה
מיקרוסופט אימנו את המודל הזה על בסיס נתונים רפואיים מ־PubMed ודוחות טיפול נמרץ מ־MIMIC. המבנה הטקסטואלי נשען על ארכיטקטורת CXRBertModel, והוא אומן יחד עם מקודד תמונה היברידי שמשלב ResNet-50 ו־Vision Transformer. השילוב הזה מאפשר ליישר בין טקסט של דוח רדיולוגי לבין המיקום המדויק בצילום הרנטגן.
הייחוד כאן הוא הממד הזמני. במבחן MS-CXR-T, שבודק הבנה של שינויים לאורך זמן בטקסט, המודל הגיע לדיוק של 87.77% וציון שטח תחת העקומה של 0.933, פער ניכר לעומת 78.12% של הגרסה הקודמת CXR-BERT-Specialized. במשימות קישור בין ביטוי טקסטואלי לאזור בצילום ללא אימון מוקדם על המשימה, הוא השיג ציון mIoU של 0.240, שמעיד על שיפור בהבנת ההקשר המרחבי מול מודלים קודמים בסדרה.
מתאים ל
- קישור ממצאים לדוח
איתור אזורים חשודים בצילום רנטגן מתוך טקסט חופשי שנכתב על ידי רדיולוג באנגלית.
- השוואת צילומים עוקבים
מעקב אחרי התפתחות מחלה בריאות בין צילומים שנעשו בהפרש של שעות עד ימים ספורים.
- חילוץ וקטורים מדוחות
המרה של טקסטים רדיולוגיים למרחב וקטורי שרגיש למונחים רפואיים ולשינויים לאורך זמן.
איפה זה נופל
הנתונים אומנו בלעדית על אנגלית, ואין כאן שום תמיכה בדוחות בעברית. בנוסף, כל המידע הגיע ממחלקות טיפול נמרץ, שבהן צילומים נלקחים במרווחי זמן של שעות או ימים בודדים. אם תנסו להשוות בין צילומים שנלקחו בהפרש של חודשים או שנים שבהם הגוף השתנה משמעותית, הדיוק שלו יירד בצורה חדה. היוצרים מציינים במפורש שהמודל מיועד למחקר בלבד ולא לאבחון רפואי או לשימוש בסביבה קלינית פעילה.
שאלות
נפוצות
האם הקבצים במאגר הזה כוללים גם את מודל התמונה?
לא, המאגר הזה מכיל את משקלי מודל השפה CXRBertModel לחילוץ מאפיינים מטקסט. כדי להריץ את מודל התמונה המשלים ולחבר ביניהם, יש לייבא את המימוש הייעודי ממאגר HI-ML של מיקרוסופט.
האם אפשר להשתמש בו לניתוח צילומי CT או MRI?
לא, המודל אומן באופן ספציפי על צילומי חזה ודוחות רדיולוגיה תואמים. שימוש בסוגי סריקות אחרים יוביל לתוצאות שגויות לחלוטין.
איך מריצים
בגודל של 110 מיליון פרמטרים ומשקל קבצים של פחות מגיגה־בייט, הדרישות שלו צנועות מאוד. אפשר להריץ את מודל השפה בקלות על כרטיס מסך בסיסי עם 4GB זיכרון או אפילו ישירות על מעבד מודרני בלי להרגיש עומס כבד, באמצעות ספריית transformers.
המשקלים שנמצאים במאגר הזה שייכים לחלק הטקסטואלי של הארכיטקטורה. כדי להריץ את מודל התמונה המלא ולבצע הצלבה רב־מודאלית, צריך להשתמש בקוד ההרחבה שמיקרוסופט פרסמה בספריית HI-ML-Multimodal בגיטהאב. אם אתם צריכים רק לחלץ ייצוגים מטקסט רדיולוגי באנגלית, המאגר הזה מספיק לבדו.
from transformers import pipeline
pipe = pipeline("feature-extraction", model="microsoft/BiomedVLP-BioViL-T")
print(pipe("שלום"))הקבצים
11 קבצים במאגר, 946 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון MIT פתוח ומתיר שימוש מסחרי, שינוי קוד והפצה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. עם זאת, דף המודל מציין שהשימוש בו הוגדר למחקר בלבד, ושילובו בפועל ככלי אבחון רפואי כפוף לרגולציה מחמירה שאינה קשורה לרישיון הקוד עצמו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש