Open-Patients
קוד פתוחncbicc-by-sa-4.02024-04-25
מאגר מאוחד של 180,142 תיאורי חולים ממקורות רפואיים פתוחים. הוא נבנה במקור כדי לבחון חילוץ ישויות וחישובים קליניים במודלי שפה בלי שתצטרכו לגרד ולנקות כל מקור בנפרד.
- 151הורדות בחודש
- 28לייקים
מה זה
המאגר מאגד ארבעה מקורות שונים לכדי קובץ אחד. הרוב המכריע מגיע מ־PMC-Patients, שכולל 167,034 תיאורים שחולצו ממאמרי PubMed Central. אליהם מתווספים 12,893 מקרים מתוך שאלות בחינת הרישוי הרפואי של ארצות הברית MedQA-USMLE, אחרי סינון של שאלות שלא כללו רקע קליני על מטופל.
שאר הרשומות מגיעות מסבבי תחרות TREC. יש שם 90 מקרים מתחום ה־CDS לשנים 2014 עד 2016, ועוד 125 תיאורים מתחום הניסויים הקליניים לשנים 2021 ו־2022. המבנה של כל רשומה פשוט מאוד וכולל רק שני שדות, מזהה שמציין את המקור המדויק ומספר הרשומה בו, וטקסט התיאור עצמו.
מתאים ל
- חילוץ ישויות רפואיות
אימון ובדיקה של מודלים לחילוץ תסמינים, אבחנות ותרופות מתוך סיכומי מחלה באנגלית.
- הערכת ביצוע חישובים קליניים
מדידת יכולת המודל להבין נתוני מטופל ולבצע על בסיסם חישוב רפואי מדויק.
- אחזור מידע ותיקים דומים
בניית מנועי חיפוש שמאתגרים את המערכת למצוא מקרי עבר דומים מתוך מאגר גדול.
איפה זה נופל
חלק ניכר מהנתונים סינתטי. המקרים מ־TREC נכתבו בידי אנשי רפואה כדי לדמות סיכומי קבלה או כדי להתאים למאמרי ספרות, ורק החלק של 2016 מבוסס על רשומות רפואיות אמיתיות. בנוסף, כל הטקסטים באנגלית ומגיעים מההקשר של הרפואה והאקדמיה בארצות הברית, בלי שום ייצוג לעברית או לרפואה מקומית. לא פורטו תיוגים מובנים של הישויות, כך שתקבלו טקסט גולמי בלבד שדורש עיבוד נוסף אם אתם צריכים אמת קרקע מפורטת לחישובים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אך כולל דרישת שיתוף זהה. המשמעות היא שכל שינוי או עיבוד של הדאטהסט חייב להיות פתוח תחת אותו רישיון. אם תאמנו מודל, קיים סיכון משפטי שתצטרכו לשחרר אותו באופן פתוח.
האם יש במאגר נתונים בעברית?
אין במאגר עברית כלל. כל 180,142 הרשומות נאספו ממקורות אמריקאיים וממאמרים בינלאומיים שנכתבו באנגלית. שימוש עבור מטופלים בישראל ידרוש תרגום והתאמה למונחים המקומיים.
האם התיאורים מייצגים חולים אמיתיים מבתי חולים?
רובו מבוסס על תיאורי מקרה ממאמרים רפואיים ב־PubMed Central ולא על תיקים חיים. בנוסף, חלק מנתוני TREC נכתבו ידנית כסימולציה בידי רופאים לצורך תחרויות. רק קבוצה קטנה מ־2016 מגיעה ישירות מתיקים רפואיים אלקטרוניים אמיתיים.
מה מייחד אותו לעומת הורדה נפרדת של PMC-Patients?
הוא חוסך את הצורך לאסוף ולאחד מקורות קליניים שונים בעצמכם. היוצרים צירפו יחד את מאמרי PMC עם שאלות סינון מ־MedQA ותחרויות אחזור של TREC. הכל מוגש בקובץ jsonl אחיד עם מזהים ברורים שמצביעים על המקור.
איך טוענים
אין כאן תהליכי הרשמה מורכבים או צורך באישור מיוחד. המאגר יושב בקובץ בודד בשם Open-Patients.jsonl לצד קובץ הרישיון והסבר קצר. טוענים אותו ישירות בכל ספריית עיבוד נתונים או דרך Hugging Face. כל שורה היא אובייקט JSON שמכיל את המזהה ואת הטקסט המלא, כך שאין צורך לחבר טבלאות נפרדות.
from datasets import load_dataset
ds = load_dataset("ncbi/Open-Patients")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש בנתונים לכל מטרה, כולל מסחרית, כל עוד נותנים קרדיט מלא ליוצרים. עם זאת, תנאי השיתוף הזהה מחייב אתכם לשחרר כל נגזרת של המאגר תחת אותו רישיון בדיוק. אם אתם מאמנים מודל על הנתונים האלה, מומלץ לבדוק היטב מבחינה משפטית אם המודל עצמו ייחשב כיצירה נגזרת שתחויב בפתיחה לציבור.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון