skin_cancer
קוד פתוחmarmal88רישיון לא דווח2023-01-24
תמונות דרמוסקופיות של נגעי עור פיגמנטיים שמיועדות לזיהוי וסיווג נגעים שפירים וממאירים. מדובר בהעלאה מחודשת של מאגר HAM10000 לתוך Hugging Face בפורמט נוח לאימון מודלים.
- 1,554הורדות בחודש
- 44לייקים
מה זה
המאגר כולל 10,015 תמונות דרמוסקופיות של נגעי עור, שמכסות קטגוריות אבחוניות שונות של נגעים פיגמנטיים. בין המקרים תמצאו מלנומה, קרצינומה של תאי בסיס, נגעים וסקולריים, שומות שפירות ונגעים טרום סרטניים מסוג אקטיניק קרטוזיס. הנתונים מגיעים מאוכלוסיות שונות ונאספו באמצעי הדמיה שונים, כשהאימות של האבחנות נשען ביותר ממחצית מהמקרים על בדיקות היסטופתולוגיות, ובשאר על מעקב קליני, בדיקות מיקרוסקופיות או הסכמת מומחים.
ההעלאה הזו מחלקת את הנתונים לקובצי Parquet של אימון ובדיקה, תוך שימוש בחלוקה מרובדת לפי סוגי האבחנות והסרטן. המאגר מכיל גם קובץ מטא-דאטה בשם HAM10000_metadata.csv, שמרכז את הפרטים הנלווים לכל נגע.
מתאים ל
- סיווג תמונות של נגעי עור
אימון רשתות לזיהוי שבע קטגוריות שונות של נגעים, ממלנומה ועד שומות רגילות.
- סגמנטציה של נגעים
תיחום אזור הנגע מתוך תמונת העור הכללית לבידוד הפיגמנטציה.
- מחקר אקדמי השוואתי
בדיקת ארכיטקטורות ראייה ממוחשבת על נתונים רפואיים מגוונים שנאספו ממספר מקורות.
איפה זה נופל
היוצר מציין במפורש שהוא לא מחזיק בזכויות על התמונות ושמדובר בהעתק של מאגר קיים, ללא תיעוד מלא של תנאי השימוש המקוריים בדף עצמו. סט הבדיקה הרשמי של האתגר המקורי אינו פומבי, כך שהחלוקה לבדיקה כאן היא פנימית בלבד ולא מאפשרת השוואה ישירה מול תוצאות רשמיות בספרות הרפואית. בנוסף, חצי מהמקרים במאגר לא אומתו בביופסיה אלא בהערכות קליניות בלבד, נתון שמחייב זהירות בשימוש לאימון מערכות אבחון אמיתיות.
שאלות
נפוצות
האם מותר להשתמש במאגר הזה לפיתוח מוצר מסחרי?
לא מומלץ בכלל. הרישיון לא דווח בעמוד והיוצר מבהיר שאין לו זכויות יוצרים על התמונות. אם אתם בונים משהו מסחרי, עדיף לגשת למאגר המקורי בהרווארד ולבדוק את תנאי הרישוי שם.
האם המאגר כולל טקסט בעברית?
לא. הנתונים הרפואיים, שמות המחלות והמטא-דאטה מופיעים באנגלית בלבד. התוכן העיקרי הוא תמונות דרמוסקופיות, כך ששפה היא לא המרכיב המרכזי כאן.
איך אומתו האבחנות הרפואיות של התמונות?
יותר מחצי מהנגעים אומתו באמצעות בדיקה היסטופתולוגית במעבדה. שאר הנגעים במאגר אומתו בשיטות פחות פולשניות, כמו מעקב קליני לאורך זמן, הסכמת מומחים או בדיקות מיקרוסקופיות ייעודיות.
מה ההבדל בין המאגר הזה ל־HAM10000 המקורי?
התוכן עצמו זהה, אבל כאן הנתונים הומרו לפורמט Parquet וחולקו מראש לסט אימון וסט בדיקה לפי סוגי הנגעים. ההעלאה הזו מיועדת בעיקר למי שרוצה לטעון את הנתונים ישירות בסביבת Hugging Face בלי להתעסק בהורדה ידנית וסידור הקבצים.
איך טוענים
הנתונים מחולקים לחמישה קובצי Parquet עבור האימון וקובץ יחיד עבור הבדיקה, לצד קובץ ה־CSV עם המטא-דאטה. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. קובץ המטא-דאטה כולל את המידע על שיטת אימות האבחנה, כמו היסטופתולוגיה או מעקב, וחשוב להצליב אותו עם התמונות כדי לסנן מקרים שלא אומתו במעבדה אם אתם מחפשים דיוק מוחלט בתוויות.
from datasets import load_dataset
ds = load_dataset("marmal88/skin_cancer")הרישיון
הרישיון של המאגר מוגדר כלא דווח, והמעלה מצהיר מפורשות שאין לו זכויות על התמונות. המשמעות היא שאין לכם היתר ברור להשתמש בנתונים האלה, בטח שלא למוצרים מסחריים או להפצה של מודלים מאומנים. מי שרוצה לעבוד לפי הספר יצטרך לפנות למקור בהרווארד או לאתגר המקורי כדי להבין את תנאי השימוש החוקיים.