OmniMedVQA
קוד פתוחforeverbelieverרישיון לא דווח2024-03-21
מאגר שאלות ותשובות רפואי על תמונות, שמבוסס על שבעים ושלושה מקורות שונים ומיועד לבדיקת מודלי ראייה ושפה. הוא מרכז מעל מאה אלף תמונות אמיתיות בתריסר טכנולוגיות צילום רפואיות.
- 1,431הורדות בחודש
- 21לייקים
מה זה
המאגר מציג שאלות אמריקאיות סביב הדמיות רפואיות אמיתיות שמכסות יותר מעשרים אזורים אנטומיים בגוף, כמו זיהוי איברים או אבחנות. כל רשומה נשמרת במבנה של קובץ טקסט עם שם המקור, מזהה שאלה, סוג השאלה, השאלה עצמה, ארבע אפשרויות בחירה, התשובה הנכונה, נתיב לתמונה וסוג ההדמיה. הנתונים הגיעו מאיסוף של שבעים ושלושה מאגרים רפואיים שפורסמו בעבר, וחלקם נחתכו מתוך סריקות תלת-ממדיות לפרוסות תמונה דו-ממדיות בפורמט תמונה רגיל.
המבנה בפועל מפוצל לשניים לפי זכויות היוצרים ומדיניות הפרטיות של המקורות. עבור מאגרים בגישה פתוחה יש גישה ישירה גם לקובצי התמונות וגם לקובצי השאלות. לעומת זאת, עבור מאגרים עם גישה מוגבלת מסופקים רק קובצי השאלות והנתיבים היחסיים לקבצים המקוריים, כך שהמשתמש צריך להשיג את התמונות בעצמו ישירות מבעלי המאגר המקורי.
מתאים ל
- הערכת מודלי ראייה ברפואה
בדיקת יכולת המודל לענות על שאלות רב-ברירה באנגלית מול צילומי רנטגן וסריקות.
- אימון על הדמיות פתוחות
אימון רכיבי פענוח תמונה רק על החלקים בגישה הפתוחה שמגיעים עם קובצי התמונה.
- מחקר אקדמי על סריקות
בחינת דיוק של מודלים מול חתכים דו-ממדיים שנלקחו מסריקות עומק רפואיות.
איפה זה נופל
זה לא מאגר שפורסים ומריצים מיד על כל היקפו, כי חלק ניכר מהתמונות פשוט לא נמצא בקובץ הדחוס עקב מגבלות אתיקה ופרטיות. בנוסף, השאלות והתשובות כולן באנגלית בלבד, ואין שום התאמה למינוח רפואי בעברית או למערכות בריאות מקומיות. מעבר לזה, המידע מבוסס על חיתוך דו-ממדי של סריקות מורכבות, מה שעלול לאבד הקשר נפחי חשוב. לפני שמשתמשים בזה לבדיקת מודלים קליניים, צריך לבדוק מול אילו מקורות מוגבלים אתם בכלל מורשים לעבוד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. לא פורסם רישיון מסודר, והיוצרים מציינים שהשימוש מיועד למחקר אקדמי וטכנולוגי בלבד. בנוסף, זכויות היוצרים של התמונות שייכות למאגרים המקוריים, כך ששימוש מסחרי עלול להפר את תנאי השימוש שלהם.
האם כל התמונות זמינות להורדה מיידית?
לא. הקובץ מכיל רק תמונות שמקורן במאגרים עם גישה פתוחה. עבור המקורות המוגבלים תמצאו רק קובצי שאלות ונתיבים, ותצטרכו לבקש גישה ולהוריד את התמונות ישירות מבעלי המאגרים המקוריים.
האם יש במאגר נתונים בעברית?
אין עברית כלל. השאלות, התשובות והאפשרויות כתובות כולן באנגלית, וסוגי ההדמיות מתועדים לפי המינוח המקובל באנגלית.
איך נאסף המידע למאגר?
החוקרים אספו נתונים משבעים ושלושה מאגרים רפואיים קיימים והמירו אותם למבנה אחיד של שאלות רב-ברירה. תמונות שמקורן בסריקות תלת-ממדיות נחתכו ונשמרו כפרוסות דו-ממדיות לפי צירים מוגדרים.
איך טוענים
ההורדה מגיעה בתור קובץ דחוס יחיד שמכיל תיקיית תמונות ותיקיית קובצי נתונים. אין צורך באישור גישה כדי להוריד את הקובץ הדחוס עצמו, אבל הוא כולל רק חלק מהתמונות. הנתונים עצמם שמורים בקובצי ג'ייסון נפרדים לפי שם המקור המקורי, והשדות הקריטיים לעיבוד הם נתיב התמונה, סוג ההדמיה, ארבע האפשרויות והתשובה הנכונה. אם תרצו להריץ בדיקה על כל המאגר, תצטרכו להוריד בנפרד את התמונות המוגבלות ולשחזר את הנתיבים שהוגדרו מראש.
from datasets import load_dataset
ds = load_dataset("foreverbeliever/OmniMedVQA")הרישיון
המאגר פורסם ללא הגדרת רישיון רשמית, ובעמוד שלו מצוין במפורש שזכויות היוצרים על התמונות שייכות לבעלי המאגרים המקוריים מהם הן נלקחו. החוקרים עצמם מצהירים שמדובר בפרויקט ללא כוונת רווח שמיועד למחקר אקדמי וטכנולוגי בלבד. המשמעות היא שאסור להשתמש בנתונים האלה למוצר מסחרי, ואימון מודל עליהם יוצר סיכון משפטי ישיר מול כל אחד משבעים ושלושת המקורות.