GPT
הוספת כלי
M

medalpaca-13b

קוד פתוח

medalpacacc2023-03-30

  • transformers
  • pytorch
  • llama
  • text-generation
  • medical

מודל שפה רפואי המבוסס על LLaMA הראשון עם 13 מיליארד פרמטרים. הוא מיועד למי שמחפש מענה לשאלות ודיאלוגים רפואיים באנגלית ומעדיף אימון על חומרים קליניים.

  • 60.6 GBמשקל הקבצים
  • 1,827הורדות בחודש
  • 87לייקים
  • 40שכבות

מה זה

מדובר בעיבוד של LLaMA המקורי שעבר כוונון ייעודי למשימות דיאלוג ושאלות ותשובות ברפואה. הוא מכיל 40 שכבות ומגיע בפורמט של 13 מיליארד פרמטרים, כשהמטרה שלו היא לתת מענה ממוקד בתחום שבו מודלים כלליים נוטים לפספס טרמינולוגיה מקצועית.

האימון התבסס על כמה מקורות ספציפיים, בהם כרטיסיות זיכרון של סטודנטים, נתונים מקהילות רלוונטיות ברשת כמו ביולוגיה ובריאות, מאגר של מאתיים אלף שאלות ותשובות מ־ChatDoctor, וטקסטים מאתר ויקידוק שעובדו דרך כלי בינה מלאכותית אחר. היוצרים מעריכים שרק כשבעים אחוז מהשאלות והתשובות שחולצו מוויקידוק מדויקות עובדתית, כך שהחומר לא נקי מטעויות.

מתאים ל

  • עזר למידה לסטודנטים

    אימון המודל נבנה ישירות על כרטיסיות זיכרון רפואיות ומאגרים אקדמיים שמתאימים לשינון ולתרגול.

  • מחקר על דיאלוג רפואי

    בדיקת היכולת של מודלים ממוקדים לנהל שיחה בתחום הבריאות בסביבת בדיקה מבוקרת.

  • מענה מבוסס הקשר

    חילוץ תשובות מתוך פסקאות רפואיות נתונות באנגלית תוך שימוש בידע המוקדם של המודל.

איפה זה נופל

המודל מיועד לרמת ידע של סטודנטים לרפואה, ולכן הוא לא מתאים לשימוש של רופאים מומחים או לקבלת החלטות מורכבות. הוא לא נבדק מעולם בעולם האמיתי, והיוצרים מציינים בפירוש שאין לו שום תוקף קליני ואסור להשתמש בו כתחליף לרופא. בנוסף, הוא אומן באנגלית בלבד ואינו רלוונטי לשיחות רפואיות בעברית.

אותה משפחה

medalpaca יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

medalpaca-7b2,069

שאלות
נפוצות

האם המודל מבין ופולט עברית?

לא. המודל הוגדר ואומן באנגלית בלבד על מקורות מידע באנגלית. ניסיון לשאול שאלות רפואיות בעברית לא יעבוד בצורה אמינה.

למה הקבצים שוקלים מעל 60 ג'יגה למודל של 13B?

המשקלים נשמרו בדיוק המקסימלי של float32 במקום float16 המקובל. זה מכפיל את המשקל ומחייב המרה אם רוצים להריץ אותו בלי שרת ענק.

אפשר לבנות עליו אפליקציה למטופלים?

ממש לא. היוצרים מצהירים שהוא מיועד למחקר בלבד, מעולם לא נבדק בשטח, וחלק מנתוני האימון שלו כוללים שגיאות עובדתיות.

איך מריצים

המשקל הכולל של הקבצים מגיע ליותר מ־60 ג'יגה בגלל שמירה בדיוק מלא של float32. כדי להריץ אותו כמו שהוא צריך כרטיס גרפי מקצועי מאוד עם שפע של זיכרון, או לעשות לו המרה ידנית לדיוק נמוך יותר מיד אחרי ההורדה עם ספריית transformers.

אם אין לכם שרת ייעודי כבד שמוכן לקבל משקלים כאלה רק לצורכי מחקר, עדיף להשתמש במודלים קלים יותר שזמינים דרך שירותים חיצוניים ולא לשבור את הראש על אחסון וטעינה של 27 קבצים כבדים.

from transformers import pipeline

pipe = pipeline("text-generation", model="medalpaca/medalpaca-13b")
print(pipe("שלום"))

הקבצים

27 קבצים במאגר, 60.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא cc בלבד, בלי לציין את הסוג המדויק. חוסר הפירוט הזה, יחד עם העובדה שהוא מבוסס על הדור הראשון של LLaMA שהוגבל למחקר, אומר שאי אפשר להשתמש בו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗