BioGPT-Large
קוד פתוחmicrosoftmit2023-02-03
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
מודל שפה שנועד ספציפית לכתיבה וניתוח של טקסטים ביו-רפואיים באנגלית. הוא פותר את המגבלה של מודלים מוקדמים בתחום שלא ידעו לייצר טקסט חופשי אלא רק לסווג.
- 2,048טוקנים בהקשר
- 5.9 GBמשקל הקבצים
- 2,975הורדות בחודש
- 239לייקים
מה זה
מיקרוסופט אימנה את המודל הזה על ספרות ביו-רפואית כדי לענות על צורך שלא קיבל מענה במודלים כמו BioBERT, שידעו רק לנתח טקסט אבל לא לייצר אותו. המבנה שלו מבוסס על ארכיטקטורת גנרציה עם 48 שכבות, והוא יודע לנסח תיאורים קריאים למונחים רפואיים מורכבים ולענות על שאלות מקצועיות.
במבחני ביצועים הוא עקף מודלים ייעודיים קודמים ברוב המשימות שנבדקו. במענה על שאלות מתוך מאגר PubMedQA הוא הגיע לדיוק של 78.2%, ובמשימות חילוץ קשרים בין תרופות למחלות כמו BC5CDR ו־DDI הוא השיג ציוני F1 שנעים סביב 40% עד כמעט 45%, מה שמראה שהוא מסוגל לקשר בין ישויות ביוכימיות מתוך טקסט גולמי בצורה עקבית יחסית.
מתאים ל
- מענה על שאלות רפואיות
הוא הגיע ל־78.2% דיוק בבדיקות PubMedQA ומתאים לחילוץ תשובות ישירות מתוך ספרות מקצועית.
- חילוץ קשרים בין חומרים
הוא יודע לזהות אינטראקציות מורכבות בין תרופות למחלות מתוך טקסטים מחקריים באנגלית.
- ניסוח הגדרות ביו-רפואיות
הוא מסוגל לייצר תיאורים רציפים וברורים למונחים מדעיים שלא קיימים במודלים כלליים.
איפה זה נופל
המודל אומן על אנגלית בלבד ולא יודע לעבוד בעברית, כך שאי אפשר להזין לו תיקים רפואיים מקומיים בלי תרגום מוקדם. חלון ההקשר שלו מוגבל ל־2,048 טוקנים, מה שמונע עיבוד של מאמרים שלמים או רצף ארוך של מסמכים בבת אחת. מעבר לזה, תוצאות ה־F1 שלו בחילוץ קשרים נעות סביב 40% בלבד, כך שיש לא מעט זיהויים שגויים או החמצות שחייבים בדיקה אנושית.
שאלות
נפוצות
האם אפשר להשתמש בו לניתוח סיכומי ביקור בעברית?
לא. המודל תומך באנגלית בלבד ואומן על ספרות מקצועית בשפה הזו. הזנת טקסט בעברית תוביל לפלט שגוי לחלוטין או לחוסר הבנה של המונחים.
במה הוא עדיף על מודלים מוכרים כמו BioBERT?
הוא מבוסס על מודל גנרטיבי, ולכן הוא יודע לייצר טקסט חופשי, לסכם ולנסח תשובות. מודלים כמו BioBERT מוגבלים לסיווג ותיוג של מילים קיימות ולא מסוגלים לכתוב פסקאות בעצמם.
איך מריצים
המשקל הכולל של הקבצים עומד על 5.9 גיגה-בייט והוא נשמר בדיוק של float32, מה שאומר שצריך כרטיס מסך עם זיכרון סביר כדי לטעון אותו ישירות דרך ספריית transformers. אם אין לכם GPU ייעודי בשרת, תרגישו איטיות כבדה בזמן הריצה.
הוא מיועד להרצה מקומית מלאה למי שרוצה שליטה בנתונים ולא מעוניין לשלוח חומרים רפואיים רגישים לרשת. לעומת זאת, אם אתם צריכים רק בדיקה מהירה או שאין לכם חומרה מתאימה, עדיף להמיר את המשקלים לדיוק נמוך יותר או לחפש נקודת קצה מנוהלת.
from transformers import pipeline
pipe = pipeline("text-generation", model="microsoft/BioGPT-Large")
print(pipe("שלום"))הקבצים
9 קבצים במאגר, 5.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמשקלים שוחררו תחת רישיון MIT. מדובר ברישיון פתוח לחלוטין שמאפשר שימוש מסחרי, שינוי של הקוד והפצה מחדש בתוך מוצרים סגורים. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים המקורית בתוך הקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש