GPT
הוספת כלי
M

medalpaca-7b

קוד פתוח

medalpacacc2023-03-29

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

התאמה של מודל LLaMA בסיסי למענה על שאלות רפואיות. הוא פונה לחוקרים ומפתחים שרוצים מודל מקומי קטן יחסית, שאומן ספציפית על דיאלוגים ומידע רפואי באנגלית.

  • 6.7Bפרמטרים
  • 50.2 GBמשקל הקבצים
  • 2,069הורדות בחודש
  • 91לייקים

מה זה

מדובר במודל שפה של 6.7 מיליארד פרמטרים ממשפחת LLaMA, שעבר כוונון ייעודי למשימות של שיח ומענה לשאלות בעולם הרפואה. צוות הפיתוח אסף נתונים ממגוון מקורות, כולל כרטיסיות זיכרון של סטודנטים, אתרי שאלות ותשובות של סטאק אקסצ'יינג', ומאגרים כמו ChatDoctor ו־Wikidoc. חלק משמעותי מהנתונים נוצר בעזרת מודלים אחרים, והמפתחים מעריכים שרק כשבעים אחוז מהשאלות והתשובות שחולצו מ־Wikidoc מדויקות מבחינה עובדתית.

במבחני הביצועים הכלליים של הלידרבורד, התוצאות מראות בדיוק איפה הוא עומד. ציון של 41.47 ב־MMLU וציון של 40.46 ב־TruthfulQA מבהירים שלא מדובר במודל עתיר ידע שיודע להבדיל תמיד בין אמת לבדיה. היכולת החישובית שלו כמעט אפסית עם 3.03 ב־GSM8K, כך שכל ניתוח שדורש היגיון כמותי ייכשל כאן לחלוטין. הוא מתמקד בשפה ובמינוחים רפואיים, לא בהסקה לוגית מורכבת.

מתאים ל

  • מחקר וניסויי שפה ברפואה

    בדיקת יכולות של מודלים קטנים בהבנת מינוחים רפואיים באנגלית בסביבת מעבדה מקומית.

  • סימולציה של שיח רפואי

    אימון מערכות מענה לשאלות כלליות על בסיס נתונים ממאגרי בריאות קיימים.

  • עזר לימודי לסטודנטים

    תרגול שאלות מתוך כרטיסיות זיכרון ומאגרים רפואיים באנגלית ללא צורך ברשת.

איפה זה נופל

המפתחים מצהירים במפורש שהמודל מיועד לרמת ידע של סטודנטים לרפואה, ולא לרופאים מומחים. מעבר לזה, הוא מעולם לא נבדק בסביבה אמיתית של טיפול או קליניקה, ולכן אסור להשתמש בו לקבלת החלטות רפואיות אמיתיות בשום צורה. בנוסף, כשכשלושים אחוז מנתוני ההדרכה של Wikidoc אינם מדויקים לחלוטין, המודל מייצר הזיות ומספק מידע שגוי. הוא גם מוגבל לשפה האנגלית בלבד, ואינו מתאים לעבודה בעברית.

אותה משפחה

medalpaca יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

medalpaca-13b1,827

שאלות
נפוצות

האם אפשר להשתמש במודל הזה בעברית?

לא. המודל אומן כולו על מאגרי מידע באנגלית בלבד. ניסיון לשאול שאלות רפואיות בעברית יוביל לפלט משובש, חסר משמעות ומסוכן מבחינת תוכן.

למה הקבצים שוקלים מעל 50 גיגה בייט עבור מודל של שבעה מיליארד פרמטרים?

המשקלים הועלו בדיוק של float32, שדורש 4 בתים לכל פרמטר. מודלים מודרניים נשמרים לרוב ב־float16 או bfloat16 ושוקלים כחצי מזה, כך שכאן נדרשת המרה כדי לחסוך מקום וזיכרון.

איך מריצים

המשקלים נשמרו בדיוק מלא של float32 ולכן הקבצים תופסים 50.2 גיגה בייט ומחולקים ל־18 חלקים שונים. כדי לטעון אותם כמו שהם בספריית transformers תצטרכו כרטיס מסך כבד מאוד עם יותר מ־50 גיגה בייט של זיכרון, או לחלופין להמיר אותם לדיוק נמוך יותר של 16 ביט או קוונטיזציה של 4 ו־8 ביט.

אם אין לכם שרת ייעודי עם חומרה מתאימה, הורדה והרצה מקומית של 50 גיגה רק בשביל בדיקות ראשוניות תהיה מסורבלת מאוד. במקרה כזה עדיף להשתמש ב־API חיצוני של מודלים גדולים יותר, אלא אם המידע הרפואי שלכם חייב להישאר על הברזלים המקומיים בגלל דרישות אבטחה או פרטיות.

from transformers import pipeline

pipe = pipeline("text-generation", model="medalpaca/medalpaca-7b")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 50.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הרשום בכרטיס הוא רישיון כללי מסוג cc, ללא פירוט מדויק של תת הסוג כמו ייחוס, שיתוף זהה או שימוש לא מסחרי. מעבר לכך, המודל מתבסס על ארכיטקטורת LLaMA המקורית ממרץ 2023. חוסר הבהירות הזה אומר שאי אפשר לשלב אותו במוצר מסחרי בלי להסתכן בהפרת תנאי השימוש.

הרישיון המלא בעמוד המודל ↗