MediPhi-Instruct

מה זה

מיקרוסופט לקחו את הבסיס של Phi-3.5-mini-instruct ואימנו מומחים נפרדים על חומרים רפואיים שונים, כמו ויקיפדיה רפואית, הנחיות קליניות וספריות של קידוד רפואי. לאחר מכן הם מיזגו את כולם באמצעות שיטות SLERP ו־BreadCrumbs, והעבירו את התוצאה כוונון סופי על בסיס נתונים בשם MediFlow. המטרה כאן היא לתת מענה לעיבוד שפה טבעית בעולם הבריאות מבלי לשלם את עלויות החישוב של מודלי ענק.

במבחני CLUE+ המודל מגיע לממוצע של 43.4 לעומת 36.5 במודל הבסיס. השיפור המשמעותי נרשם במשימות כמו שאלות על דוחות דימות עם ציון של 61.6 לעומת 41.2, ומענה על שאלות תרופתיות שעלה ל־19.3 לעומת 11.2. עם זאת, בחלק מהמשימות נרשמה ירידה מול מומחים ספציפיים, למשל בקידוד ICD10CM שבו המומחה הייעודי הגיע ל־68.7 ואילו המודל הממוזג נעצר ב־54.9.

מתאים ל

• חילוץ ישויות מדוחות ניתוח

  שליפת מונחים אנטומיים, ממצאים ופתולוגיות מתוך סיכומי ניתוח באנגלית.

• מענה על שאלות מדימות

  ניתוח טקסט של בדיקות רדיולוגיה לצורך מענה על שאלות קליניות מוגדרות.

• סיווג נתונים וקידוד רפואי

  עזרה במיפוי טקסט חופשי לקודי ICD10 ראשוניים כחלק ממחקר או ניתוח נתונים.

איפה זה נופל

המודל אומן בעיקר על אנגלית, והביצועים שלו בשפות אחרות ירודים משמעותית. הוא לא מתאים לעברית. מיקרוסופט מציינים במפורש שהכלי מיועד לצורכי מחקר ואינו מיועד למתן ייעוץ רפואי או קבלת החלטות קליניות ללא בדיקת מומחה אנושי. בנוסף, יש נטייה להזיות ולחזרתיות בשיחות ארוכות, והקוד שהוא מייצר מוגבל בעיקר לחבילות פייתון בסיסיות מאוד.

איך מריצים

קבצי המודל שוקלים 7.1 גיגה בייט בדיוק bfloat16, כך שכרטיס מסך בודד עם 12 או 16 גיגה בייט זיכרון יספיק להרצה בסיסית. הוא תומך ב־Flash Attention 2 שנבדק על כרטיסי A100, A6000 ו־H100, אבל אם מריצים על חומרה ותיקה יותר כמו V100 צריך להגדיר מימוש eager בקוד של transformers.

הריצה דורשת הגדרת תנאי עצירה ידני לטוקנים מסוימים בקוד פייתון. אם אין לכם שרת ייעודי מאובטח והנתונים שלכם לא כפופים לחובת סודיות קפדנית, החזקה של חומרה מקומית בשביל משימות פשוטות עשויה להיות מיותרת לעומת פנייה ל־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/MediPhi-Instruct")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 7.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors2.7 GB
• tokenizer.json1.9 MB
• tokenizer.model499.7 KB
• README.md16.9 KB
• model.safetensors.index.json16.5 KB
• tokenizer_config.json4.1 KB
• config.json3.4 KB
• SECURITY.md2.7 KB
• .gitattributes.txt1.6 KB
• .gitattributes1.5 KB
• LICENSE1.1 KB
• special_tokens_map.json695 B
• CODE_OF_CONDUCT.md451 B
• added_tokens.json306 B
• generation_config.json147 B

הרישיון

הרישיון הוא MIT, מה שאומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים המקורית של מיקרוסופט. מיקרוסופט כן מדגישה שהשימוש בשמות ובסימני המסחר שלה אסור ללא אישור נפרד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗