BioGPT-Large-PubMedQA
קוד פתוחmicrosoftmit2023-02-03
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
מודל שפה ייעודי לעולם הביורפואי שעבר התאמה למענה על שאלות מתוך מחקרים. הוא פותר את בעיית היצירה החופשית שהייתה חסרה במודלים ישנים כמו BioBERT.
- 2,048טוקנים בהקשר
- 5.9 GBמשקל הקבצים
- 314הורדות בחודש
- 119לייקים
מה זה
מיקרוסופט אימנו את המודל על ספרות ביורפואית ענפה כדי לתת מענה לצורך ביצירת טקסט ולא רק בסיווג. עד להגעתו, רוב הכלים בתחום התבססו על ארכיטקטורת BERT שהייתה טובה לזיהוי ישויות אבל לא ידעה לנסח משפטים חדשים.
הגרסה הזו עברה כוונון ייעודי למשימת PubMedQA והגיעה לדיוק של 78.2 אחוזים, לצד ביצועים של 44.98 אחוזים בבדיקת BC5CDR וציוני F1 דומים במשימות חילוץ קשרים רפואיים. בפועל זה אומר שהוא מבין את הז'רגון המחקרי ויודע לענות על שאלות מקצועיות בצורה ישירה, במקום שתצטרכו לאלף מודל כללי שלא מכיר מונחים בביולוגיה.
מתאים ל
- מענה לשאלות מחקר
התאמה ישירה למבנה של PubMedQA מאפשרת לו לחלץ תשובות מדויקות מתוך תקצירים מדעיים.
- חילוץ קשרים בין תרופות
תוצאות המדידה מראות יכולת מוכחת בזיהוי אינטראקציות ביולוגיות בתוך טקסט רפואי.
- ניסוח הגדרות ביולוגיות
מייצר תיאורים רציפים וברורים למונחים מקצועיים מורכבים באנגלית.
איפה זה נופל
המודל תומך באנגלית בלבד, כך שהוא לא יעזור בכלל למי שמנסה לנתח מסמכים רפואיים בעברית. חלון ההקשר שלו מוגבל ל־2,048 טוקנים, מה שאומר שאי אפשר להזין אליו מאמרים שלמים וארוכים בבת אחת אלא רק תקצירים או פסקאות ממוקדות. בנוסף, מדובר במודל יוצר, מה שמחייב בדיקה כפולה של התשובות שלו כדי לוודא שהוא לא ממציא עובדות ביולוגיות שלא קיימות במקור.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה לטיפול בחולים או אבחון?
לא. מדובר בכלי מחקרי שנועד לעיבוד ספרות רפואית ולא במערכת שקיבלה אישור רפואי לקבלת החלטות קליניות.
האם המודל תומך בטקסטים רפואיים בעברית?
הוא אומן על ספרות באנגלית בלבד. ניסיון להזין לו עברית ייתן תוצאות גרועות או שגיאות של הטוקנייזר.
איך מריצים
המשקל הכולל של הקבצים עומד על 5.9 גיגה בייט והם מחולקים לתשעה קבצים בפורמט float32. תצטרכו להעלות אותו דרך ספריית transformers הרגילה של פייתון, ומומלץ מאוד להמיר את המשקלים לדיוק נמוך יותר בזמן הטעינה כדי לחסוך מקום בזיכרון של כרטיס המסך.
אם אתם רק בודקים התכנות של מענה על שאלות רפואיות נקודתיות, ייתכן ששווה לבחון שירותי ענן קיימים. הרצה עצמית של המודל הזה מתאימה בעיקר למי שחייב לשמור את המידע הרפואי בתוך השרתים שלו ולא יכול להוציא נתונים החוצה.
from transformers import pipeline
pipe = pipeline("text-generation", model="microsoft/BioGPT-Large-PubMedQA")
print(pipe("שלום"))הקבצים
9 קבצים במאגר, 5.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמשקלים שוחררו תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המודל בתוך מוצרים סגורים בלי תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש