GPT
הוספת כלי
L

Llama3-OpenBioLLM-70B

קוד פתוח

aadityallama32024-04-24

  • transformers
  • pytorch
  • llama
  • text-generation
  • llama-3

התאמה רפואית מלאה ל־Llama 3 בנפח שבעים מיליארד פרמטרים. פונים אליו כשצריכים דיוק קליני גבוה באנגלית בלי לשלוח מידע רפואי רגיש לשרתים חיצוניים.

  • 8,192טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 859הורדות בחודש
  • 515לייקים

מה זה

זהו עיבוד של Llama 3 70B Instruct שעבר כוונון ייעודי לתחום הביו־רפואי ומדעי החיים בידי Saama AI Labs. האימון שילב דאטה־סט פקודות רפואיות עם אופטימיזציית העדפות ישירה (DPO) בשיטת QLoRA. התוצאה היא מודל שמבין ז'רגון קליני, מונחים פרמקולוגיים וניתוח בדיקות מעבדה הרבה מעבר למודל הבסיס.

במבחני ביצועים על תשעה מאגרי מידע רפואיים, כמו MedQA ו־PubMedQA, הוא מציג ממוצע של 86.06% בבדיקות אפס דוגמאות (zero-shot). הנתון הזה מעמיד אותו מעל Meditron-70B וברמה תחרותית מאוד מול Med-PaLM-2 או GPT-4 במבחנים אמריקאיים סגורים. המשמעות בפועל היא יכולת טובה במיוחד במענה על שאלות ידע מקצועיות, חילוץ ישויות קליניות מתיקים רפואיים וסיווג מסמכים.

מתאים ל

  • תמצות תיקים רפואיים

    שליפת ממצאים קריטיים, תרופות והיסטוריה מתוך סיכומי אשפוז ארוכים ומבולגנים באנגלית.

  • חילוץ ישויות ביו־רפואיות

    זיהוי וקטלוג של מחלות, תסמינים, מינונים ומבנים אנטומיים מתוך טקסט חופשי.

  • הסרת פרטים מזהים (PII)

    איתור ומחיקת שמות ופרטי מטופלים ממסמכים קליניים לצורך עמידה בתקני פרטיות.

איפה זה נופל

הכרטיס מזהיר במפורש לא להשתמש במודל לקבלת החלטות קליניות או לטיפול ישיר בחולים. הוא לא עבר ניסויים קליניים מבוקרים, והוא עלול לייצר שגיאות או הטיות שנשמעות משכנעות מאוד. בנוסף, חובה להשתמש בתבנית השיחה המקורית של Llama 3 Instruct כדי למנוע ירידה באיכות התשובות. המפתחים מציינים שהוא נוטה לעיתים למלל עודף, וממליצים להוריד את ערך הטמפרטורה לאפס כדי לצמצם תופעות כאלה. המודל אומן ונבדק באנגלית בלבד, כך שאין להסתמך עליו בעיבוד טקסטים רפואיים בעברית.

אותה משפחה

Llama3-OpenBioLLM יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Llama3-OpenBioLLM-8B3,021

שאלות
נפוצות

האם אפשר להשתמש בו כדי לפענח תוצאות בדיקות דם למטופלים בארץ?

לא באופן ישיר. המודל אומן על מידע ומבחנים באנגלית, והוא לא עבר התאמה למינוחים בעברית או לתקנות מערכת הבריאות בישראל. מעבר לכך, המפתחים אוסרים שימוש בו ככלי אבחוני ללא פיקוח של רופא מוסמך.

למה המודל מחזיר לפעמים תשובות ארוכות ומייגעות מדי?

הכרטיס מציין פליטת מלל מוגזמת במקרים נדירים. הפתרון הטכני שהמפתחים מציעים הוא להגדיר את הטמפרטורה לערך אפס ולוודא שהשתמשתם במדויק ב־chat template של Llama 3 Instruct.

איך מריצים

כדי להריץ 131 גיגה־בייט של משקלים בפורמט bfloat16 מלא תצטרכו שרת עם לפחות שני כרטיסי A100 או H100 של 80GB, רק כדי לטעון אותו לזיכרון לפני חישובי ההקשר. האימון המקורי עצמו נשען על שמונה כרטיסי H100.

אם אין לכם תשתית כזאת, קיימות גרסאות GGUF מכווצות שמאפשרות דחיסה לכרטיסים צנועים יותר, או גרסת שמונה מיליארד פרמטרים קלה בהרבה מאותה סדרה. להרצה מקומית מלאה יש מחיר כבד בתחזוקה ובחשמל, כך שאם אין חובת פרטיות שמחייבת שמירת המידע בתוך הארגון, קריאה לשרת מנוהל חיצוני תהיה זולה ופשוטה משמעותית.

from transformers import pipeline

pipe = pipeline("text-generation", model="aaditya/Llama3-OpenBioLLM-70B")
print(pipe("שלום"))

הקבצים

39 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון Meta Llama 3 הרגיל. מותר להשתמש בו לצרכים מסחריים ומחקריים, בתנאי שמוסיפים את הייחוס המתאים ועומדים במדיניות השימוש ההוגן של מטא, כולל מגבלת 700 מיליון המשתמשים החודשיים שדורשת אישור מיוחד.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗