llava-med-v1.5-mistral-7b

מה זה

מיקרוסופט לקחו את ארכיטקטורת LLaVA, חיברו לה את Mistral 7B כמודל שפה, ואימנו את השילוב על נתונים ביו-רפואיים. במקום להישאר מודל ראייה כללי שמזהה חתולים ושלטים, הוא עבר התאמה לטקסטים ומאמרים מדעיים מתוך מאגר PMC-15M, שמכיל מיליוני תמונות ואיורים ממחקרים, כולל צילומי רנטגן, היסטולוגיה ומיקרוסקופיה.

הייחוד כאן הוא ההתמקדות במענה על שאלות פתוחות סביב תמונות רפואיות. הוא נבדק מול מערכי מבחן ייעודיים כמו PathVQA ו־VQA-RAD, ומציג הבנה של מושגים קליניים שלא קיימים במודלי ראייה סטנדרטיים בגודל שבעה מיליארד פרמטרים. עם זאת, השיפור מתבטא בהקשרים אקדמיים ומחקריים בלבד.

מתאים ל

• מחקר אקדמי בדימות

  ניתוח ראשוני ושאלות ותשובות על צילומי מיקרוסקופיה והיסטולוגיה מתוך מאמרים מדעיים.

• שחזור תוצאות מאמרים

  בדיקת ביצועים מול מאגרי VQA-RAD ו־PathVQA לפיתוח שיטות אימון חדשות.

• חילוץ מידע מאיורים מדעיים

  קריאת תרשימים ואיורים מתוך פרסומים ב־PubMed Central באנגלית בלבד.

איפה זה נופל

המודל מיועד אך ורק למחקר ואסור לחלוטין לשימוש קליני או לקבלת החלטות רפואיות. הוא אומן באנגלית בלבד, כך שעברית לא באה בחשבון כאן. בנוסף, המידע שלו מבוסס על מאמרים אקדמיים, שנוטים להציג מקרים קיצוניים או תוצאות חיוביות בלבד, ולכן הוא לא מייצג שגרת טיפול אמיתית. הוא גם סובל מטעויות והזיות שירש מ־LLaVA המקורי.

איך מריצים

כדי להריץ אותו מקומית צריך כרטיס מסך עם לפחות 16 עד 24 גיגה-בייט זיכרון וידאו, שכן קובצי המודל שוקלים מעל 14 גיגה-בייט בדיוק המקורי שלו. ההרצה נעשית דרך ספריית transformers וקוד ה־Serving שמיקרוסופט פרסמו בריפו של הפרויקט בגיטהאב.

אם יש לכם מחשב עם כרטיס תואם, ההרצה העצמית פשוטה יחסית וחוסכת עלויות. אם אין לכם גישה למעבד גרפי כזה, תצטרכו לשכור שרת ענן פשוט לפי שעה, כי אין למודל הזה נקודת קצה מנוהלת רשמית של API בתשלום לפי קריאה.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="microsoft/llava-med-v1.5-mistral-7b")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 14.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors262.1 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json73.2 KB
• README.md4.6 KB
• data_summary_card.md4.2 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.5 KB
• config.json1.4 KB
• special_tokens_map.json438 B
• generation_config.json111 B

הרישיון

הרישיון המדווח במאגר הוא Apache 2.0 המתיר שימוש חופשי ומסחרי, אך כרטיס המודל מציין שהתנאים כפופים לרישיון של Mistral 7B ומגביל את השימוש למחקר בלבד ללא פריסה בפועל. הסתירה הזו מחייבת בדיקה משפטית זהירה לפני כל שילוב בקוד מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗