GPT
הוספת כלי
P

Palmyra-Med-70B-32K

קוד פתוח

Writerother2024-06-03

  • transformers
  • safetensors
  • llama
  • text-generation
  • instruct

יש כאן גם סקירה על Writer עצמו.

מודל 70B שעבר כוונון ייעודי לתחום הרפואי ומציג תוצאות גבוהות במבחנים ביו-רפואיים. מתאים למי שחוקר טקסטים קליניים באנגלית וצריך חלון הקשר של 32 אלף טוקנים.

  • 71Bפרמטרים
  • 32,768טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 283הורדות בחודש

מה זה

במקום עוד מודל כללי שמנסה לענות על הכל, החברה לקחה בסיס של 70 מיליארד פרמטרים ואימנה אותו עם DPO על דאטה רפואי והוראות ייעודיות לתחום. התוצאה היא כלי שמיועד ספציפית לטרמינולוגיה רפואית, ניתוח רשומות, וקריאת מאמרים מדעיים באנגלית.

במדדים ביו-רפואיים המודל מציג ממוצע של 85.87% על פני תשעה מבחנים שונים, כולל ביצועים חזקים במשימות כמו PubMedQA וגנטיקה רפואית. לפי הנתונים בכרטיס, הציון הזה עוקף מודלים סגורים כמו GPT-4 ו־Claude Opus באותם מבחנים ספציפיים, וחלון ההקשר המורחב מאפשר לו לעבד תיקים רפואיים ארוכים בלי לאבד מידע בדרך.

מתאים ל

  • ניתוח סיכומי מחלה

    חילוץ ישויות רפואיות כמו תרופות ואבחנות מתוך תיקים קליניים ארוכים באנגלית.

  • מענה על שאלות ממחקרים

    שליפת מידע ותמצות מתוך מאמרים מדעיים בזכות חלון הקשר של 32K טוקנים.

  • מחקר ועיבוד EHR

    ניתוח נתונים ממאגרי בריאות לצרכי מחקר אקדמי בלבד וללא מטרות רווח.

איפה זה נופל

היוצרים מדגישים שהמודל לא נבדק בניסויים קליניים ואסור להשתמש בו לטיפול ישיר בחולים או ככלי לקבלת החלטות רפואיות בפועל. מעבר לזה, המודל אומן ותומך אך ורק באנגלית, כך שכל ניסיון לתת לו לפענח סיכומי ביקור בעברית צפוי להיכשל או להסתיים בהזיות. אם אתם בונים מערכת לקופות חולים או בתי חולים בארץ, תצטרכו אימון המשך משמעותי משלכם.

אותה משפחה

Palmyra-Med יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

palmyra-med-20b477 Palmyra-Med-70B0

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לטיפול בחולים בישראל?

חד משמעית לא. הרישיון אוסר על שימוש מסחרי או רפואי מעשי, והוא לא עבר ניסויים קליניים. בנוסף, הוא לא תומך בעברית ואינו מותאם לרגולציה מקומית.

האם שווה להוריד 131GB ולהריץ אותו מקומית?

רק אם יש לכם שרת חזק עם מספיק VRAM לצורכי מחקר עצמאי. לרוב השימושים הפשוטים, גישה דרך ה־API של החברה תחסוך את כאב הראש התשתי והעלויות הכבדות.

איך מריצים

המשקלים שוקלים 131 גיגה-בייט בפורמט bfloat16, מה שאומר שבשביל להריץ אותו מקומית בלי קוונטיזציה תצטרכו לפחות שני כרטיסי A100 או H100 של 80 גיגה. אם תרצו לנצל את מלוא חלון ההקשר של 32K טוקנים, תצטרכו עוד זיכרון מעבר לזה עבור ה־KV cache.

ההרצה מתבצעת ישירות דרך ספריית transformers של פייתון עם פונקציית generate הרגילה. אם אין לכם שרת ייעודי בעלויות של אלפי דולרים בחודש, סביר להניח שעדיף להשתמש ב־API של החברה במקום לנסות להחזיק תשתית כזאת בעצמכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="Writer/Palmyra-Med-70B-32K")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת תנאי שימוש ייעודיים של החברה ומגביל את המודל לשימוש מחקרי ולא מסחרי בלבד. בנוסף, החברה מציינת שהמשקלים מכילים סימני מים דיגיטליים כדי לאתר שימוש אסור. המשמעות פשוטה: אי אפשר לשלב אותו במוצר מסחרי שאתם מוכרים ללקוחות.

הרישיון המלא בעמוד המודל ↗