NuCLS_dataset
קוד פתוחminhanhto09cc0-1.02024-03-12
המאגר מרכז 59,485 תיוגים של גרעיני תאים מתוך סריקות היסטופתולוגיות של סרטן השד ממאגר TCGA. הוא מיועד למי שמאמן מודלים לזיהוי, סגמנטציה וסיווג תאים ברזולוציה גבוהה.
- 634הורדות בחודש
- 26לייקים
מה זה
הנתונים כוללים 1,744 רשומות מלאות של שדות ראייה ברזולוציה של 0.2 מיקרון לפיקסל. כל רשומה מגיעה כסט של תמונת רקמה בפורמט RGB, תמונת מסיכה שבה הערוץ הראשון מקודד את סוג התא ושני הערוצים הנוספים מזהים אותו חד ערכית, תמונת המחשה שמשלבת בין השתיים, ורשימת קואורדינטות בפיקסלים. התיוגים בוצעו בידי פתולוגים, מתמחים וסטודנטים לרפואה דרך Digital Slide Archive, ועברו תיקון של בודק יחיד.
התיוגים עצמם מסודרים בשלוש רמות היררכיה: רמה בסיסית של 13 מחלקות, רמה ראשית של 7 מחלקות, ורמת על של 4 מחלקות רחבות. גבולות הגרעינים מוגדרים כמלבנים חוסמים או כמצולעים. החלוקה לאימון ומבחן בנויה מראש על בסיס שישה חלקים, כשההפרדה נעשתה לפי בית החולים שממנו הגיע המדגם כדי לבחון יכולת הכללה בין מוסדות רפואיים שונים.
מתאים ל
- סגמנטציה של גרעיני תאים
אימון מודלים להפרדת גבולות מדויקים של גרעינים באמצעות מסיכות התיוג ומצולעי הקואורדינטות.
- סיווג תאים ברקמות סרטן
זיהוי וחלוקה של סוגי תאים לפי שלוש רמות הסיווג שנכללות במאגר מתוך סריקות רקמה.
- איתור תאים בתיחום מלבני
בניית גלאי עצמים מהירים שמאתרים תאים באמצעות קואורדינטות המלבנים החוסמים שמצורפות לכל תא.
איפה זה נופל
הגרסה הזו מכילה אך ורק את התיוגים המתוקנים של בודק יחיד. תיוגים גולמיים שלא עברו תיקון ותיוגים שהושוו בין כמה בודקים שונים חסרים כאן, ולכן אי אפשר לבדוק שונות בין פתולוגים. בנוסף, כל הדגימות מתמקדות בסרטן השד בלבד ומבוססות על צביעת המטוקסילין ואאוזין, כך שהנתונים לא מתאימים לבדיקת איברים אחרים או שיטות צביעה שונות בלי אימות חיצוני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. המאגר שוחרר תחת רישיון CC0 1.0, שמקביל לנחלת הכלל. הרישיון מאפשר שימוש מסחרי מלא, כולל אימון מודלים פנימיים והפצתם ללא צורך במתן קרדיט.
מאיפה התמונות הגיעו ואיך תייגו אותן?
התמונות נלקחו ממאגר הגידולים TCGA. התיוג בוצע על ידי צוות משולב של פתולוגים, מתמחים בפתולוגיה וסטודנטים לרפואה, והגרסה הזו מציגה את התוצאות לאחר בדיקה ותיקון של בודק יחיד.
האם יש במאגר טקסט בעברית?
לא, אין במאגר עברית בכלל. שפת הנתונים והמטא דאטה היא אנגלית, אם כי רוב המידע הוא תמונות היסטופתולוגיות וקואורדינטות גיאומטריות שאינן תלויות בשפה.
איך מחולקים נתוני האימון והבדיקה?
הנתונים מחולקים לחמישה חלקי הערכה עיקריים שנקבעו לפי בית החולים שממנו נלקחה הרקמה, ועוד חלק קטן שנועד לבדיקות קוד. החלוקה הזו נועדה לוודא שהמודל מתמודד היטב עם שינויים באופן ההכנה והסריקה בין מוסדות שונים.
איך טוענים
טוענים את המאגר ישירות בפייתון עם הספרייה datasets באמצעות הפקודה load_dataset לנתיב minhanhto09/NuCLS_dataset. אין צורך באישור גישה מיוחד. כדי לבדוק את הקוד במהירות לפני הורדת כל החומר, בוחרים בקונפיגורציית debug שמביאה 28 דוגמאות בלבד מתוך חלק 999. השדות המרכזיים לעיבוד הם rgb_image לתמונה הנקייה, mask_image לסגמנטציה, ומערך annotation_coordinates לחילוץ קואורדינטות ומחלקות הסיווג.
from datasets import load_dataset
ds = load_dataset("minhanhto09/NuCLS_dataset")הרישיון
הרישיון הוא CC0 1.0, כלומר נחלת הכלל ללא שום הגבלות זכויות יוצרים. מותר להשתמש במידע למטרות מסחריות, לשנות אותו, לבנות עליו מודלים סגורים ולהפיץ אותם בלי חובת ייחוס ובלי דרישה לשתף את הקוד או את הנתונים החדשים באותו רישיון.