GPT
הוספת כלי
B

Bio_Discharge_Summary_BERT

קוד פתוח

emilyalsentzermit2022-03-02

  • transformers
  • pytorch
  • jax
  • bert
  • fill-mask

המודל אומן על סיכומי אשפוז קליניים מבית חולים בארה"ב אחרי אתחול מ־BioBERT. הוא מתאים למי שבונה מודל ייעודי להבנת תיעוד רפואי מורכב באנגלית.

  • 512טוקנים בהקשר
  • 2.0 GBמשקל הקבצים
  • 388,834הורדות בחודש
  • 38לייקים

מה זה

מדובר באחד מארבעת הווריאנטים של ClinicalBERT מהמחקר המקורי של אמילי אלסנצר. המודל מתבסס על BioBERT, שכבר כולל ידע ממאמרי PubMed, ועבר אימון נוסף רק על סיכומי אשפוז מתוך מאגר MIMIC III, שכוללים כ־880 מיליון מילים. המטרה שלו היא לשמש בסיס למשימות שפה קליניות, כמו זיהוי ישויות או הסקת מסקנות מתוך תיעוד רפואי חופשי.

בניגוד למודלי שפה כלליים או ל־BioBERT הבסיסי שמתמקד בספרות מדעית, הטקסט פה מגיע ישירות מהשטח. הוא מכיל את הז'רגון האופייני למחלקות טיפול נמרץ, כולל קיצורים ומבנה של סיכומי מחלה, מה שנותן ייצוג וקטורי מדויק יותר למילים בהקשר הרפואי המעשי.

מתאים ל

  • חילוץ ישויות רפואיות

    מזהה שמות תרופות, מחלות ותסמינים מתוך סיכומי אשפוז באנגלית.

  • סיווג תיעוד קליני

    משמש בסיס לאימון מסווגים על פסקאות מתוך תיקים רפואיים.

  • הסקת מסקנות קלינית

    בדיקת תאימות בין אבחנות לטיפולים בטקסטים רפואיים.

איפה זה נופל

האימון נעשה כולו באנגלית ועל דאטה מבית חולים יחיד בבוסטון, כך שהוא לא יעבוד על עברית ולא בטוח שיתאים למונחים מקומיים. בנוסף, חלון ההקשר עומד על 512 טוקנים, והאימון המקדים רץ עם אורך רצף מקסימלי של 128 טוקנים בלבד, מה שמקשה על ניתוח מסמכי שחרור ארוכים ברצף אחד.

שאלות
נפוצות

האם המודל מבין טקסטים רפואיים בעברית?

לא. המודל אומן אך ורק על טקסטים באנגלית ממאגר MIMIC III וספרות מדעית, ולכן הוא לא מתאים לעיבוד שפה בעברית.

האם אפשר להשתמש בו ישירות לצ'אט או ליצירת טקסט?

לא. זהו מודל מסוג BERT המיועד למשימת fill-mask וחילוץ ייצוגים וקטוריים, ולא מודל גנרטיבי שמסוגל לנהל שיחה.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון עם AutoModel ו־AutoTokenizer. קובצי המודל שוקלים 2.0 גיגה-בייט, כך שלא צריך שרתים מיוחדים. כרטיס גרפי פשוט, אפילו ברמה של ה־GeForce GTX TITAN X עם 12GB ששימש לאימון שלו, מספיק בהחלט להרצה מקומית או לכוונון עדין.

אם אתם צריכים רק להוציא אמבדינגס או לאמן ראש סיווג על דאטה רפואי רגיש, עדיף להריץ אותו אצלכם כדי להימנע מהעברת מידע רפואי לגורם צד שלישי.

from transformers import pipeline

pipe = pipeline("fill-mask", model="emilyalsentzer/Bio_Discharge_Summary_BERT")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, מה שאומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו בקוד סגור. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית ברישיון ההפצה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗