GPT
הוספת כלי
B

biogpt

קוד פתוח

microsoftmit2022-11-20

  • transformers
  • pytorch
  • biogpt
  • text-generation
  • en

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

מודל שפה קומפקטי שמיועד ספציפית לטקסטים ביו רפואיים באנגלית ומסוגל לייצר טקסט חופשי. הוא עונה על שאלות רפואיות ומחלץ קשרים ממאמרים בלי התקורות של מודלי ענק כלליים.

  • 1,024טוקנים בהקשר
  • 1.5 GBמשקל הקבצים
  • 114,159הורדות בחודש
  • 309לייקים

מה זה

מיקרוסופט אימנו את המודל הזה על ספרות ביו רפואית כדי לפתור בעיה מוגדרת. עד לפרסומו, רוב הכלים בתחום התבססו על ארכיטקטורות כמו BERT שיודעות לסווג מידע או לחלץ ישויות, אבל לא מסוגלות לייצר טקסט שוטף. המודל הזה מתפקד כמחולל טקסט לכל דבר בתחום מדעי החיים.

במבחני ביצועים הוא עקף מודלים קודמים ברוב המשימות שנבדקו. הוא השיג 78.2 אחוזי דיוק במענה על שאלות ממאגרי מחקר רפואיים, וציוני F1 שנעים בין 38.4 ל־45 אחוזים במשימות חילוץ יחסים בין תרופות, מחלות ואינטראקציות כימיות. זה אומר שהוא מבין את ההקשר התרופתי טוב יותר ממודלים כלליים ישנים, אבל עדיין מדובר בכלי ממוקד מחקר ולא במאגר ידע מוחלט.

מתאים ל

  • מענה על שאלות מחקר

    הוא מגיע לדיוק של 78.2% בבסיס הנתונים PubMedQA ומספק תשובות מנוסחות היטב.

  • חילוץ קשרים בין תרופות

    הוא מזהה אינטראקציות בין חומרים כימיים ומחלות מתוך טקסטים מחקריים באנגלית.

  • ניסוח הגדרות רפואיות

    הוא מייצר תיאורים שוטפים ומדויקים למונחים מתחום הביולוגיה והרפואה.

איפה זה נופל

חלון ההקשר מוגבל ל־1,024 טוקנים, וזה מעט מאוד אם רוצים להזין מאמרים שלמים או סיכומי תיקים מורכבים. בנוסף, המודל אומן על אנגלית בלבד ולכן אין מה לנסות להריץ עליו טקסטים רפואיים בעברית. מאחר שמדובר במחולל טקסט, הוא עלול לייצר תיאורים שנשמעים משכנעים לחלוטין אך שגויים מדעית, ולכן אסור להסתמך עליו כמקור לקבלת החלטות קליניות.

שאלות
נפוצות

האם המודל תומך בטקסטים בעברית?

לא. המודל אומן אך ורק על ספרות מחקרית באנגלית. ניסיון להזין לו שאלות או מסמכים בעברית יפיק פלט שבור או חסר משמעות.

האם אפשר להריץ אותו על מחשב נייד רגיל?

כן, המשקל הכולל שלו הוא כ־1.5 גיגה בייט. מעבד סטנדרטי או מעבד גרפי בסיסי יריצו אותו בלי בעיה מיוחדת ובלי לדרוש משאבי ענן כבדים.

איך מריצים

קבצי המודל שוקלים 1.5 גיגה בייט בלבד, כך שלא צריך שרת מפלצתי כדי להריץ אותו. מעבד גרפי פשוט עם כמה גיגה בייטים בודדים של זיכרון יספיק לעבודה שוטפת, ואפשר לטעון אותו ישירות דרך ספריית transformers בסקריפט פייתון קצר.

אם אתם צריכים תפוקה מהירה עבור אפליקציה פנימית או ניסוי במעבדה, שווה להרים אותו מקומית. אין היגיון לשלם על API חיצוני כשדרישות החומרה כאן כל כך נמוכות ומשקל המודל זעום.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/biogpt")
print(pipe("שלום"))

הקבצים

6 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות משוחררים תחת רישיון MIT. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗