clinical-trials
קוד פתוחlouisbrulenaudetapache-2.02025-06-19
מעל חצי מיליון ניסויים קליניים ממאגר ClinicalTrials.gov עם מעל שלושים שדות מובנים ווקטורים סמנטיים מוכנים. זה חוסך את כל העבודה השחורה של משיכת הנתונים וחישוב ייצוגים מראש.
- 735הורדות בחודש
- 40לייקים
מה זה
המאגר מרכז מעל 500,000 רשומות של ניסויים קליניים שנמשכו ישירות מגרסה שתיים של ה־API הרשמי של ClinicalTrials.gov. כל רשומה כוללת פרטים נרחבים כמו מזהה NCT, כותרות, סטטוס, שלב הניסוי, מטרות, קריטריוני קבלה והדרה, נתוני מיקום גיאוגרפי של מרכזי המחקר ופרטי החוקרים והספונסרים. בנוסף לטקסט הרגיל, המאגר כולל וקטורים סמנטיים בגודל 768 ממדים שחושבו מראש עבור התקציר וקריטריוני ההתאמה.
תהליך העיבוד כלל אימות נתונים קפדני באמצעות מודלים של Pydantic, המרת טיפוסים של תאריכים ומבני נתונים, סינון כפילויות לפי מזהה הניסוי, וניקוי רווחים וקידוד טקסט. כל המידע יושב בפיצול יחיד של train, בלי חלוקה מובנית לולידציה או מבחן.
מתאים ל
- סיווג מחקרים רפואיים
אימון מודלים לסיווג ניסויים לפי תחום טיפולי, שלב קליני או סוג התערבות רפואית.
- חילוץ קריטריוני התאמה
שליפת גיל, מין ומחלות רקע מתוך טקסט חופשי של קריטריוני קבלה לצורך התאמת מטופלים.
- חיפוש דמיון סמנטי
איתור ניסויים דומים ומחקרים חופפים באמצעות הווקטורים המוכנים של התקצירים.
איפה זה נופל
הנתונים מבוססים על דיווח עצמי של יוזמי הניסויים, כך שחלק מהסטטוסים עלולים להיות לא מעודכנים או להכיל שדות ריקים ברשומות ישנות יותר. המאגר מוגבל רק למה שנרשם במערכת האמריקאית, ולכן קיים חוסר ייצוג מובנה למחקרים ממדינות שלא מחייבות רישום שם. הטקסט ברובו המוחלט באנגלית למרות תיוג השפות במאגר, ואין בו נתונים בעברית. שדות חופשיים רבים אינם עוקבים אחרי מבנה אחיד ומחייבים ניקוי נוסף לפני שימוש בפרודקשן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0 ובכרטיס אף נכתב MIT. שני הרישיונות מאפשרים שימוש מסחרי מלא, כולל אימון מודלים סגורים, כל עוד שומרים על תנאי הייחוס של היוצר ושל המקור הרשמי.
האם המאגר כולל נתונים בעברית?
לא, הנתונים מגיעים ישירות ממאגר ClinicalTrials.gov שבו הדיווח מתבצע כמעט כולו באנגלית. גם אם מופיעים ניסויים שנערכו בישראל, התיאורים הרפואיים וקריטריוני הקבלה כתובים באנגלית בלבד.
מה היתרון שלו על פני משיכה עצמאית מה־API?
המאגר חוסך את בניית התשתית לקריאות ה־API, את הנירמול והבדיקות מול Pydantic, ואת חישוב הווקטורים. במקום להשקיע זמן עיבוד יקר וחישוב אמבדינגס לטקסטים ארוכים, מקבלים קבצי Parquet מוכנים עם וקטורים סמנטיים של 768 ממדים.
האם יש חלוקה מובנית לסט אימון ומבחן?
לא, כל הרשומות נמצאות בפיצול train שמחולק לשמונה קבצי Parquet. אם אתם מתכננים לאמן מודל חיזוי, תצטרכו לפצל את הנתונים בעצמכם ולהקפיד על חלוקה נכונה לפי תאריכים או מזהי מחקר.
איך טוענים
טוענים את המאגר דרך load_dataset של ספריית datasets עם השם louisbrulenaudet/clinical-trials והפיצול train. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח לחלוטין להורדה. הנתונים מחולקים לשמונה קבצי Parquet, כך שמומלץ לעבוד בסביבה עם זיכרון מספק או להשתמש בטעינה מוזרמת אם רק בודקים שדות ספציפיים כמו brief_summary או eligibility_criteria.
from datasets import load_dataset
ds = load_dataset("louisbrulenaudet/clinical-trials")הרישיון
המטא-דאטה מדווח על רישיון apache-2.0, אך הטקסט של הכרטיס מציין רישיון MIT. שניהם רישיונות מתירניים מאוד שמאפשרים שימוש מסחרי ומחקר ללא תשלום, ואינם מחייבים שיתוף באותו רישיון למודלים שתאמנו עליהם. נדרש רק לשמור על הודעת זכויות היוצרים ולתת ייחוס ליוצר ולמאגר המקורי ClinicalTrials.gov.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים