GPT
הוספת כלי
B

BiomedCLIP-PubMedBERT_256-vit_base_patch16_224

קוד פתוח

microsoftmit2023-04-05

  • open_clip
  • clip
  • biology
  • medical
  • zero-shot-image-classification

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

מודל ראייה ושפה קל משקל שאומן על ספרות רפואית. הוא מחבר בין תמונות קליניות לטקסט מדעי בלי ללכת לאיבוד בטרמינולוגיה מקצועית ש־CLIP רגיל מפספס.

  • 753 MBמשקל הקבצים
  • 249,031הורדות בחודש
  • 424לייקים

מה זה

המודל מחבר מקודד טקסט מסוג PubMedBERT עם מקודד תמונה מבוסס Vision Transformer, ואומן בלמידה ניגודית על PMC-15M. מדובר במאגר של 15 מיליון צמדי תמונות ותיאורים שנשלפו ממאמרים מחקריים ב־PubMed Central, כך שהוא ראה מגוון רחב של סוגי דימות כמו רדיולוגיה, היסטולוגיה ומיקרוסקופיה בזמן ש־CLIP רגיל של OpenAI ראה בעיקר תמונות מהאינטרנט הכללי.

המשמעות בפועל היא יכולת לסווג תמונות רפואיות ללא אימון מוקדם, לאחזר מידע בין תמונה לטקסט, ולשמש בסיס למענה על שאלות ויזואליות. במקום לזהות רק חתול או מכונית, הוא מסוגל לקשר ממצא בצילום רנטגן למונח הפתולוגי המתאים באנגלית מדעית ברמת דיוק שעוקפת מודלים גנריים קודמים בתחום.

מתאים ל

  • סיווג תמונות רנטגן

    זיהוי ממצאים בצילומי חזה ללא צורך באימון מותאם מראש על הדאטה שלכם.

  • חיפוש טקסטואלי במאגרי דימות

    שליפת שקופיות היסטולוגיה או צילומים מתוך ארכיון לפי תיאור פתולוגי חופשי באנגלית.

  • מחקר והשוואת ביצועים

    בסיס השוואה מול מודלים רב מודליים חדשים במחקרים ביו רפואיים.

איפה זה נופל

יוצרי המודל כותבים במפורש שהוא מיועד אך ורק למחקר ולא לשום שימוש מבצעי או פריסה בפועל, לא מסחרית ולא אחרת. בנוסף, האימון התבסס כולו על מאמרים באנגלית, כך שאין לו שום הבנה במונחים רפואיים בעברית או בכל שפה אחרת, וכל פרומפט חייב להיכתב באנגלית מקצועית בלבד.

שאלות
נפוצות

האם אפשר להשתמש במודל לאבחון רפואי בפועל?

לא. החוקרים מציינים במפורש שכל פריסה בעולם האמיתי אינה בתחום המיועד, והמודל נבדק ככלי מחקרי בלבד. הוא לא עבר רגולציה קלינית ואי אפשר להסתמך עליו בהחלטות טיפוליות.

האם המודל מבין מושגים רפואיים בעברית?

לא, הוא אומן אך ורק על מאמרים באנגלית מתוך PubMed Central. אם תזינו לו טקסט בעברית תקבלו תוצאות חסרות משמעות, ולכן כל שאילתה או תווית חייבות להיות באנגלית מקצועית.

איך מריצים

במשקל כולל של כ־753 מגה בייט, המודל הזה קטן מאוד במונחים של היום ויכול לרוץ כמעט על כל כרטיס מסך בסיסי, ואפילו על מעבד רגיל של מחשב פיתוח בלי לחנוק את הזיכרון. אין שום סיבה אמיתית לחפש בשבילו API מנוהל ויקר, כי אפשר להוריד אותו ישירות דרך הספרייה open_clip ולעבוד מקומית בלי תלות ברשת.

סביבת הריצה דורשת פייתון 3.10 והתקנה של open_clip_torch ו־transformers. בגלל שמדובר בארכיטקטורת ViT סטנדרטית עם PubMedBERT ברזולוציית קלט של 224 פיקסלים, זמן המענה מהיר מאוד ומתאים גם לעיבוד אצוות גדולות של תמונות מקומיות בלי לשבור את הראש על אופטימיזציות מורכבות.

pip install -U huggingface_hub
hf download microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224

הקבצים

20 קבצים במאגר, 753 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים פורסמו תחת רישיון MIT, שמתיר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי, בתנאי ששומרים על הודעת זכויות היוצרים. יחד עם זאת, היוצרים הוסיפו בכרטיס המודל הגבלה מחקרית מפורשת שמגדירה כל פריסה מעשית ככזו שנמצאת מחוץ לטווח השימוש המיועד, ולכן משפטית צריך לבחון היטב את הסתירה הזו לפני שמשלבים אותו במוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗