GPT
הוספת כלי
M

Medical-Llama3-8B

קוד פתוח

ruslanmvapache-2.02024-04-21

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

זהו כוונון עדין של לאמה 3 שמיועד למענה על שאלות רפואיות. הוא מתאים למי שרוצה בסיס מקומי לשיחות בנושאי בריאות באנגלית בלי לפתח הכל מאפס.

  • 8Bפרמטרים
  • 8,192טוקנים בהקשר
  • 29.9 GBמשקל הקבצים
  • 83הורדות בחודש

מה זה

מדובר במודל שנוצר על גבי Meta-Llama-3-8B ועבר אימון על בסיס נתונים של צ'אטבוט רפואי בשם ai-medical-chatbot. המטרה שלו היא לקחת פניות של משתמשים לגבי תסמינים, ולהחזיר תשובה אינפורמטיבית שמסבירה מה עשוי לעמוד מאחוריהם לצד המלצה לפנות לבדיקות דם או לרופא.

היוצר לא צירף לכרטיס תוצאות מבחנים סטנדרטיים או ציונים מוכרים בתחום הרפואי, כך שקשה לדעת איך הוא עומד מול מודלים פתוחים אחרים באותו גודל. מה שיש פה בפועל זה בעיקר התאמת סגנון וניסוח שמרגישים כמו שיחה עם יועץ בריאות כללי, עם שפה ישירה וברורה יותר ממודל בסיס שלא עבר כוונון ייעודי.

מתאים ל

  • סינון ראשוני באנגלית

    מתן הסבר ראשוני על תסמינים באנגלית והכוונה לבדיקות מתאימות מול רופא.

  • עוזר מחקר בריאותי

    מענה על שאלות כלליות מתוך בסיס נתונים רפואי בלי לחפש ידנית במאמרים.

  • בסיס למערכת שיחה

    נקודת מוצא לכוונון נוסף על נתוני מרפאה או מערכות מידע פנימיות.

איפה זה נופל

הכרטיס מבהיר ישירות שאי אפשר להבטיח את הדיוק של התשובות ושאין לראות בהן ייעוץ רפואי מקצועי. בנוסף, המודל אומן רק באנגלית, כך שהוא לא מתאים לממשקים בעברית. לפני שמחברים אותו למערכת שמשוחחת עם אנשים, חייבים לבדוק שהוא לא מייצר אבחנות שגויות בצורה משכנעת מדי, מכיוון שאין כאן שום אימות קליני מתועד.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה בעברית?

הוא מוגדר לשפה האנגלית בלבד ואומן על נתונים באנגלית. אם תפנו אליו בעברית הוא כנראה יתקשה מאוד לייצר תשובות תקינות וקוהרנטיות, ולכן לא הייתי בונה עליו לשירות מקומי בלי אימון ייעודי.

כמה זיכרון כרטיס מסך צריך כדי להריץ אותו?

במשקל המקורי של 16 ביט צריך כרטיס עם לפחות 20GB כדי לטעון אותו ולבצע היקש. אם משתמשים בטעינה מכווצת של 8 או 4 ביט דרך bitsandbytes, אפשר להסתפק גם בכרטיס עם 12GB או 16GB.

איך מריצים

כדי להריץ אותו צריך להוריד כמעט שלושים ג'יגה של קבצים בדיוק bfloat16, מה שדורש כרטיס מסך עם לפחות שש עשרה עד עשרים וארבעה ג'יגה של זיכרון גרפי, תלוי אם תעשו לו קוונטיזציה דרך bitsandbytes. ההרצה עצמה נעשית ישירות דרך ספריית transformers בפייתון יחד עם accelerate.

אם אין לכם שרת ייעודי עם כרטיס חזק, להחזיק תשתית כזו בשביל מודל 8B זה בזבוז משאבים. במקרה של בדיקות מהירות עדיף לפנות למודל גדול יותר דרך API, ורק אם אתם חייבים פרטיות מלאה או פעולה מקומית כדאי להוריד את המשקלים למכונה שלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="ruslanmv/Medical-Llama3-8B")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 29.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים. אתם יכולים לשלב אותו במוצר שלכם כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי, בלי תשלום תמלוגים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗