PubMedVision

מה זה

החוקרים שלפו צמדי תמונות וטקסט מתוך מאמרים מדעיים פתוחים ב־PubMed, ואז העבירו אותם עיבוד מחדש באמצעות GPT-4V כדי לייצר שאלות ותשובות ברורות. בנוסף, הם השתמשו במודל HuatuoGPT-Vision-7B כדי לתייג את איבר הגוף ואת שיטת הדימות בכל תמונה.

המאגר מחולק לשני חלקים שווים בגודלם, כ־647 אלף רשומות בכל אחד. חלק אחד מוגדר כ־Alignment VQA ונועד ליישור ראשוני בין התמונה לטקסט, והחלק השני הוא Instruction Tuning VQA לכיוונון עדין של הוראות. בפברואר 2025 נוספו למאגר גם הכיתובים המקוריים של התמונות וכן גרסה מתורגמת לסינית.

מתאים ל

• אימון הוראות מולטימודלי

  כיוונון של מודל ראייה ושפה על החלק של Instruction Tuning כדי שיענה לשאלות על ממצאים קליניים.

• יישור תמונה וטקסט רפואי

  חיבור וקטורי בין סריקות דימות להסברים מילוליים באמצעות קובץ ה־Alignment.

• סיווג תמונות לפי איבר ושיטה

  אימון מסווגים מהירים לזיהוי שיטת הדימות ואיבר הגוף לפי התיוגים שנוספו למאגר.

איפה זה נופל

אין כאן שום מידע בעברית, הכל באנגלית ובסינית בלבד. בנוסף, השאלות והתשובות עברו שכתוב על ידי GPT-4V, והתיוגים של איברי הגוף נעשו במודל אוטומטי, כך שאין כאן בדיקה ידנית של רופא על כל אחת ממיליון הרשומות. לא הייתי מכניס מודל שאומן על זה ישירות לטיפול בחולים בלי בדיקה קלינית מחמירה.

איך טוענים

אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. התמונות מגיעות דחוסות בלפחות עשרים קובצי zip שונים, מה שאומר שתצטרכו להוריד אותם ידנית או בסקריפט ולפתוח הכל לתיקייה אחת מקומית. קובצי המידע עצמם שמורים בפורמט JSON, והם כוללים את השאלות, התשובות, הנתיבים לתמונות, ותיוגים כמו איבר גוף ושיטת הדימות.

from datasets import load_dataset

ds = load_dataset("FreedomIntelligence/PubMedVision")

הרישיון

המאגר מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי והפצה, ואינו מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון. החובה היחידה היא לתת קרדיט למחברים המקוריים ולצרף עותק של כתב הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗