PanNuke
קוד פתוחRationAIcc-by-nc-sa-4.02024-12-27
מאגר לסגמנטציה וסיווג גרעיני תאים בפתולוגיה דיגיטלית. הוא מכיל מעל 189 אלף גרעינים מתויגים ב־19 סוגי רקמות, ומיועד לאימון מודלים של ראייה ממוחשבת ברפואה.
- 1,001הורדות בחודש
- 19לייקים
מה זה
המאגר מורכב מ־7,901 תמונות בגודל 256 על 256 פיקסלים, שנחתכו מסריקות שלמות בהגדלה של פי ארבעים וברזולוציה של 0.25 מיקרון לפיקסל. כל דגימה מגיעה מתוך אחד מ־19 סוגי רקמות שונים, כולל שד, ריאות, כבד, עור ומעי גס.
התיוג נוצר בצורה חצי אוטומטית ומכסה 189,744 גרעיני תאים. הגרעינים מסווגים לחמש קטגוריות תאיות: גידוליים, דלקתיים, רקמת חיבור, אפיתל ותאים מתים. כל גרעין כולל מסיכת סגמנטציה בינארית נפרדת המגדירה את הגבולות שלו בתוך התמונה.
הנתונים מחולקים מראש לשלושה חלקים, פולד 1, פולד 2 ופולד 3, בהתאם למבנה המקורי של המחקר. כל חלק כולל את תמונת ה־RGB, רשימת המסיכות של הגרעינים, התיוג הקטגוריאלי של כל גרעין וזיהוי הרקמה שממנה נלקחה הדגימה.
מתאים ל
- סגמנטציה של גרעיני תאים
זיהוי והפרדה של גרעינים בודדים בתוך רקמות שונות באמצעות מסיכות בינאריות ייעודיות.
- סיווג תאים ברקמות פתולוגיות
חלוקת גרעינים לחמש קטגוריות ביולוגיות, כולל תאים סרטניים, דלקתיים ואפיתל.
- אימות צולב במחקר רפואי
בדיקת ביצועי מודלים על גבי שלושת החלקים המובנים כדי להשוות תוצאות מול הספרות.
איפה זה נופל
ההתפלגות של סוגי התאים אינה מאוזנת כלל, כאשר קטגוריית התאים המתים סובלת מתת-ייצוג כבד ועלולה להכשיל מודלים שלא יטפלו בכך מראש. מעבר לכך, התמונות נוצרו בחיתוך מסריקות גדולות, ולכן גרעינים שנמצאים בשולי התמונה עשויים להיות קטועים עד לרמה של פחות מעשרה פיקסלים גלויים. לא הייתי מכניס מודל שאומן על המאגר הזה למערכת דיאגנוסטית אמיתית בלי לוודא שהוא מתמודד היטב עם גרעינים חלקיים ועם חוסר האיזון הקיצוני במחלקות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0, והוא אוסר שימוש מסחרי באופן מפורש. המאגר מתאים אך ורק למחקר אקדמי, בדיקות פנימיות או פרויקטים ללא מטרת רווח.
איך נאספו התמונות והתוויות במאגר?
התמונות נחתכו מסריקות היסטופתולוגיות מלאות בהגדלה של פי ארבעים. התיוג של הגרעינים והמסיכות נוצר בתהליך חצי אוטומטי המשלב אלגוריתמים לצד בדיקה.
האם נדרש אישור מיוחד כדי להוריד את הנתונים?
לא נדרש תהליך אישור או בקשת גישה. הקבצים זמינים להורדה ישירה מחשבון היוצר בפורמט parquet לפי שלושת חלקי המאגר.
איזה בעיות מיוחדות קיימות בנתוני התמונות?
בגלל פעולת החיתוך מסריקות גדולות, גרעינים הממוקמים בשולי התמונות נחתכו לעיתים וכוללים פחות מעשרה פיקסלים. בנוסף, קיים חוסר איזון חריף בין מחלקות התאים, בעיקר בתאים מתים.
איך טוענים
המאגר זמין להורדה ישירה ללא צורך בהרשאה מיוחדת, ומאוחסן בשלושה קובצי parquet נפרדים לפי החלוקה לחלקים. הטעינה נעשית ישירות דרך ספריית datasets על ידי ציון שם המאגר. כל שורה בטבלה מכילה את התמונה ושלושה שדות נתונים מרכזיים: instances שמחזיק את מסיכות הביטמפ של הגרעינים, categories שמכיל מספרים שלמים המייצגים את סוגי התאים, ו־tissue שמזהה את סוג הרקמה. מבנה זה מאפשר להריץ אימון ואימות מוצלבים באופן ישיר ומסודר.
from datasets import load_dataset
ds = load_dataset("RationAI/PanNuke")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות ברורה: אסור לעשות בו שימוש מסחרי מכל סוג שהוא. מותר להשתמש בנתונים למחקר או לפרויקטים אישיים בלבד, חובה לתת קרדיט ליוצרים, ואם אתם משנים את הנתונים או מפיצים אותם הלאה, עליכם לעשות זאת תחת אותו הרישיון בדיוק. אי אפשר להשתמש בו לאימון מודל שיימכר כמוצר סגור.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא