Medical_Multimodal_Evaluation_Data
קוד פתוחFreedomIntelligenceapache-2.02025-01-09
מאגר בדיקה שמקבץ שאלות ותמונות מכמה מדדים רפואיים מוכרים כדי לבחון מודלים מולטימודליים. מי שבונה מודל ראייה ושפה רפואי ימצא כאן סט הערכה מרוכז במקום לאסוף כל מבחן בנפרד.
- 280הורדות בחודש
- 29לייקים
מה זה
המאגר מאגד מבחנים מוכרים בתחום השאלות והתשובות על תמונות רפואיות, כולל VQA-RAD, SLAKE, PathVQA, PMC-VQA, OmniMedVQA ורצועות רפואיות מתוך MMMU. הוא מיועד לבדיקה של מודלים מולטימודליים, כפי שהחוקרים עשו בפרויקט HuatuoGPT-Vision שלהם, כדי לראות איך המודל מתמודד עם תצלומים קליניים, סריקות ופתולוגיה.
התוכן מאורגן בקובץ JSON בשם medical_multimodel_evaluation_data שמחזיק את השאלות והתשובות, לצד ארכיון images.zip שמכיל את התמונות הרלוונטיות. הכרטיס לא מפרט תהליך סינון מיוחד או חלוקות פנימיות שנעשו מעבר לחיבור הבנצ'מרקים המקוריים לקובץ אחד, ומפנה לקרוא את המאמרים של המדדים עצמם.
מתאים ל
- בדיקת מודלי ראייה רפואיים
הרצת סדרת מבחנים על מודל שפה חזותי כדי למדוד דיוק במענה על שאלות קליניות מתמונות.
- השוואת ביצועים מול Huatuo
בחינת מודלים חדשים מול תוצאות שפורסמו במאמר HuatuoGPT-Vision על אותם מבחנים בדיוק.
- ניתוח חולשות באבחון חזותי
מעקב אחר טעויות המודל בין סוגי דימות שונים, כמו פתולוגיה ב־PathVQA לעומת רדיולוגיה ב־VQA-RAD.
איפה זה נופל
הנתונים כולם באנגלית, כך שאין שום ייצוג לשפות אחרות או למונחים רפואיים מקומיים. מעבר לכך, הכרטיס דל מאוד ולא מפרט הטיות, אופן בחירת הדגימות מכל מקור או גודל מדויק בכל משימה. זהו אוסף לבדיקה בלבד ולא לאימון, ולפני שמסתמכים עליו במוצר אמיתי חייבים לבדוק עצמאית את מקורות הנתונים המקוריים ואת איכות התיוגים שלהם.
שאלות
נפוצות
האם מותר להשתמש בנתונים לפיתוח מוצר מסחרי?
המאגר מוגדר תחת רישיון apache-2.0, שבאופן כללי מתיר שימוש מסחרי בכפוף למתן קרדיט. עם זאת, הוא מרכז בנצ'מרקים קיימים ממקורות שונים, ולכן כדאי לוודא שתנאי הרישיון המקוריים של כל מבחן ומבחן מתאימים לדרישות שלכם.
האם יש במאגר שאלות או תיוגים בעברית?
לא. כל הנתונים מוגדרים באנגלית בלבד, ואין שם טקסט רפואי או שאלות בעברית. אם המערכת מיועדת לשימוש מקומי, תצטרכו לתרגם את השאלות או לייצר סט בדיקה נפרד.
איך הנתונים נאספו והוכנו למאגר?
החוקרים אספו בנצ'מרקים קיימים מהספרות, כמו SLAKE, PathVQA ו־PMC-VQA, ואיחדו אותם למבנה JSON אחד עם קובץ תמונות נלווה. הכרטיס לא מדווח על תהליך עיבוד נוסף או סינון מיוחד מעבר לריכוז לצורך פרויקט HuatuoGPT-Vision.
איך טוענים
אין כאן שערים או צורך באישור גישה. מורידים את הקבצים ישירות מהמאגר, פותחים את images.zip ומקשרים אותו לקובץ הנתונים medical_multimodel_evaluation_data.json. קוד ההרצה והבדיקה המלא נמצא בריפו הגיטהאב של HuatuoGPT-Vision לפי הנחיות המפרסמים. שימו לב לחבר נכון את נתיבי התמונות מקובץ השאלות לתיקייה שפתחתם.
from datasets import load_dataset
ds = load_dataset("FreedomIntelligence/Medical_Multimodal_Evaluation_Data")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה, כל עוד נותנים קרדיט מתאים ושומרים על תנאי הרישיון המקורי. זה חל על קובצי המאגר עצמם, אך כיוון שהוא מרכז נתונים ממקורות קודמים כמו SLAKE ו־PMC-VQA, היוצרים מבקשים לצטט גם את המאמרים של מדדי המקור.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים