SA-Med2D-20M
קוד פתוחOpenGVLabcc-by-nc-sa-4.02023-11-26
מאגר ענק של מסכות סגמנטציה רפואיות בדו מימד, שנחתכו מתוך צילומי דימות שונים. מתאים למי שרוצה לאמן מודלים סטייל סגמנט אניתינג ישירות על מידע רפואי מגוון בלי לאסוף בעצמו עשרות סטים שונים.
- 1,049הורדות בחודש
- 27לייקים
מה זה
המאגר מאגד מגוון צילומי דימות בהם אם אר איי, סי טי ורנטגן, שנאספו מתוך מאגרים ציבוריים קיימים ברשת. סריקות תלת מימדיות נחתכו לפרוסות דו מימדיות לאורך הצירים השונים, לצד צילומים שהיו דו מימדיים במקור, כאשר לכל תמונה מותאמות מסכות סגמנטציה בפורמט פי אן ג'י.
המבנה כולל תיקיית תמונות, תיקיית מסכות מקבילה, ושני קובצי ג'ייסון. קובץ אחד ממפה בין מזהי המספרים לבין שמות האיברים והקטגוריות, והשני מרכז את נתיבי הגישה ומחבר בין כל תמונה למסכה שלה. שמות הקבצים עצמם מקודדים מידע מפורט על סוג הסריקה, מאגר המקור, מזהה המטופל וציר החיתוך.
למרות שהשם מדבר על עשרים מיליון מסכות, היוצרים מבהירים שמשיקולי פרטיות ודרישות אתיות הם שחררו בפועל גרסה של שישה עשר מיליון מסכות בלבד. כל המידע נשען על איחוד של מאגרי מקור חיצוניים, כשהחוקרים מבטיחים להמשיך לעדכן את המאגר בעתיד.
מתאים ל
- אימון מודלי סגמנטציה רפואיים
אימון מודלים מותאמים לזיהוי איברים ופתולוגיות במגוון סריקות דו מימדיות.
- התאמת מודלי בסיס לדימות
פיין טיונינג לארכיטקטורות כלליות כמו סגמנט אניתינג כדי שיתפקדו טוב יותר על הדמיות רפואיות.
- בנצ'מרק למחקר אקדמי
הערכה והשוואת ביצועים של אלגוריתמי ראייה ממוחשבת על דאטה רפואי מגוון ונרחב.
איפה זה נופל
הבעיה המרכזית היא חוסר אחידות באיכות התיוג ובדיוק שלו, עניין שהיוצרים מודים בו בעצמם בהצהרה המשפטית כשאינם מתחייבים לדיוק הנתונים. המידע הוא הדבקה של עשרות סטים ממקורות שונים, מה שיוצר הבדלים חדים ברזולוציה, בציוד הסריקה ובפרוטוקולי הסימון. בנוסף, חיתוך סריקות תלת מימדיות לפרוסות דו מימדיות פשוטות גורם לאובדן ההקשר המרחבי העמוק שנחוץ לעיתים קרובות בפענוח קליני אמיתי. המאגר מיועד אך ורק למחקר, ומסוכן להסתמך עליו כבסיס יחיד למערכת אבחון רפואית ללא בדיקה קפדנית של המקרים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון שמוגדר הוא רישיון לא מסחרי. כל שימוש עסקי, מכירה של מודל שאומן עליו או שילובו במוצר בתשלום מנוגדים לתנאי הרישיון.
כמה מסכות ונתונים יש בפועל במאגר?
למרות השם שרומז על עשרים מיליון, היוצרים מציינים שבפועל שוחררו שישה עשר מיליון מסכות עקב דרישות פרטיות ואתיקה רפואית. הקבצים עצמם מחולקים למספר ארכיונים מפוצלים הדורשים חילוץ.
האם המאגר כולל טקסט או נתונים בעברית?
לא, אין כאן טקסט בעברית. מדובר בקובצי תמונה של סריקות רפואיות עם מסכות סגמנטציה, לצד קובצי מיפוי שמכילים תוויות ומזהים באנגלית בלבד.
איך הנתונים נאספו ועובדו?
החוקרים אספו מאגרים רפואיים ציבוריים שונים, חילצו סריקות תלת מימדיות לפרוסות דו מימדיות בצירי חיתוך שונים, והצמידו להן את מסכות הסגמנטציה המתאימות. שמות הקבצים נבנו בצורה שמספקת מידע על מאגר המקור וסוג הסריקה.
איך טוענים
לא מורידים את זה בפקודה אחת פשוטה של ספריית הדאטהסטס הרגילה. המידע מחולק לקובצי ארכיון מפוצלים מרובי חלקים תחת תיקיית המקור, שדורשים איחוד וחילוץ מקומי לפני תחילת העבודה. בווינדוז פותחים את קובץ הזיפ הראשי והוא מושך את שאר החלקים, ובלינוקס נדרש איחוד ידני דרך שורת הפקודה לקובץ מלא אחד ואז פתיחה שלו. הגישה עצמה פתוחה לחלוטין ואינה דורשת אישור מיוחד, אך תצטרכו נפח אחסון פנוי משמעותי כדי להחזיק את קובצי הארכיון, קובץ האיחוד ואת מיליוני התמונות המחולצות. לטעינת הדאטה, נשענים על הקובץ שמחבר בין התמונות למסכות ועל קובץ המיפוי של המחלקות.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/SA-Med2D-20M")הרישיון
הרישיון הוא סי סי בי וואי אן סי אס איי ארבע אפס. זה אומר שאסור לעשות במאגר שום שימוש מסחרי, וחובה לתת קרדיט ליוצרים המקוריים. בנוסף, חל עקרון השיתוף הזהה, כך שכל נגזרת של המידע חייבת להתפרסם תחת אותם תנאים מגבילים בדיוק. מודל שיאומן על המאגר הזה כבול למגבלות האלה ולא תוכלו לשלב אותו במוצר מסחרי סגור.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא