Llama3-OpenBioLLM-8B

מה זה

מדובר בהתאמה של לאמה 3 בגודל שמונה מיליארד פרמטרים שנעשתה במעבדות סאמה, בעזרת אימון על שאלות רפואיות ואופטימיזציית העדפות עם מאגר נקטר. הוא מכוון ישירות לעולם הביומד, ומיועד להבין מינוחים מקצועיים, ניתוח נתונים קליניים וספרות מדעית באנגלית.

במבחני בנצ׳מרק מול תשעה מאגרי שאלות רפואיים הוא השיג ממוצע של 72.5 אחוזים. בפועל זה אומר שבמבחנים כמו גנטיקה רפואית ושאלות פאבמד הוא עוקף מודלים כמו ג׳מיני 1.0 ומיסטרל 7B, ואפילו מודלים ייעודיים עצומים כמו מדיטרון 70B. הוא עדיין מפסיד למודל ה־70B של אותה סדרה ול־GPT-4, אבל ביחס לגודל שלו הוא עונה ברמת דיוק מרשימה.

מתאים ל

• מענה על שאלות מחקר

  שליפת תשובות ממאמרים רפואיים בזכות ציון של 74.12 במבחן פאבמד.

• סיווג טקסטים ביולוגיים

  מיון מאמרים ומסמכים מדעיים באנגלית לפי תחומים ונושאים.

• ניתוח מושגים גנטיים

  התמודדות עם מונחים תורשתיים מורכבים שבהם המודל השיג 86.1 אחוז דיוק.

איפה זה נופל

הכרטיס מזהיר במפורש לא להשתמש במודל להחלטות קליניות או לטיפול ישיר בחולים. הוא לא נבדק בניסויים מבוקרים, מייצר לפעמים תשובות ארוכות מדי ועלול להכיל הטיות או מידע שגוי. מעבר לכך, המודל אומן ותומך רק בשפה האנגלית, ולכן אינו מתאים לניתוח תיקים רפואיים בעברית. רוב הדוגמאות המרשימות של חילוץ ישויות וסיווג בכרטיס המודל הוצגו על גרסת ה־70B ולא עליו.

אותה משפחה

Llama3-OpenBioLLM יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 15 ג׳יגה בפורמט bfloat16, מה שאומר שכרטיס מסך יחיד עם 24 ג׳יגה זיכרון מריץ אותו בלי מאמץ דרך טרנספורמרס. יש גם גרסאות מקוונטות מסוג GGUF שמאפשרות לרדת לחומרה חלשה בהרבה ואפילו למעבדים רגילים.

חובה להשתמש בתבנית השיחה המדויקת של לאמה 3 אינסטראקט, אחרת מקבלים נפילה חדה באיכות הפלט. היוצרים ממליצים לקבוע טמפרטורה לאפס כדי להקטין פטפוט מיותר. אין לו API רשמי מנוהל מהיוצר, כך שאם לא רוצים להרים שרת עצמאי, צריך לחפש ספקי ענן צד שלישי שמאפשרים פריסה של משקלי המודל.

from transformers import pipeline

pipe = pipeline("text-generation", model="aaditya/Llama3-OpenBioLLM-8B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00002-of-00004.bin5.0 GB
• pytorch_model-00001-of-00004.bin5.0 GB
• pytorch_model-00003-of-00004.bin4.9 GB
• pytorch_model-00004-of-00004.bin1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json50.6 KB
• pytorch_model.bin.index.json23.9 KB
• README.md21.7 KB
• .gitattributes1.5 KB
• config.json704 B
• special_tokens_map.json449 B
• generation_config.json147 B

הרישיון

המודל כפוף לרישיון לאמה 3 של מטא. מותר להשתמש בו לצרכים מחקריים ומסחריים, בתנאי שלא עוברים 700 מיליון משתמשים פעילים בחודש, שאז נדרש אישור פרטני ממטא. חלות גם הגבלות השימוש והבטיחות הסטנדרטיות של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗