guidelines
קוד פתוחepfl-llmother2023-11-21
עשרות אלפי הנחיות קליניות רשמיות באנגלית, ישירות מגופים כמו ארגון הבריאות העולמי ומרכז השליטה במחלות. המאגר נבנה כדי לאמן מודלים רפואיים על נהלים בדוקים במקום על טקסט כללי מהרשת.
- 2,721הורדות בחודש
- 157לייקים
מה זה
כל רשומה מייצגת מסמך הנחיות קליניות מלא. במקור נאספו 48,096 מאמרים מתוך 17 מקורות רפואיים שונים, אבל המאגר הציבורי כולל רק תת קבוצה של כ־37 אלף מסמכים מתשעה מקורות שהרשו הפצה מחדש, בתוספת 1,627 הנחיות שהתווספו מאוחר יותר ממאגר פאבמד. המקורות הזמינים כוללים בין היתר את ארגון הבריאות העולמי, המרכז לבקרת מחלות בארצות הברית, הצלב האדום ומאגר ויקידוק.
המסמכים הגיעו מקובצי פי די אף שהומרו לטקסט באמצעות גרוביד, וטקסטים מאתרים שונים. תהליך הסינון נעשה לפי דגימות של חמישים מאמרים מכל מקור, וכלל הסרת הפניות, טבלאות, קישורים ותווים שבורים. הצוות סינן מאמרים קצרים מדי וכפילויות לפי כותרת. הטקסט המעובד מכיל כותרות היררכיות ומבנה פסקאות אחיד, אך המאגר שומר גם את הטקסט הגולמי המקורי.
מתאים ל
- אימון מקדים למודל רפואי
לימוד מושגים, פרוטוקולים ונהלי אבחון כבסיס למודל שפה ייעודי לעולם הבריאות.
- מערכות שליפת מידע קליני
אינדוקס הטקסט המנוקה כדי לאפשר לרופאים למצוא הנחיות טיפוליות רשמיות לפי מחלה.
- הערכת ידע קליני של מודלים
בדיקת יכולת המודל לייצר תשובות שתואמות את הקונצנזוס הרפואי שמופיע בהנחיות.
איפה זה נופל
ההטיה המשמעותית ביותר היא שרוב המאגר הציבורי מגיע מויקידוק, שהוא מאגר מבוסס חוכמת המונים ולא הנחיה מוסדית קפדנית באותה רמה של גופי בריאות לאומיים. כל החומרים באנגלית בלבד, ומשקפים בעיקר רפואה מערבית ממדינות דוברות אנגלית. נקודת חיתוך המידע היא אוגוסט 2023, והנחיות רפואיות משתנות ומתעדכנות בקביעות. אסור להשתמש בזה לבניית כלי שמספק המלצות טיפוליות ישירות למטופלים ללא ניסויים קליניים ואימות בטיחות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון בעייתי ומפנה לתנאי השימוש של קומון קרול. מאחר שהטקסטים שייכים לארגוני בריאות שונים, מומלץ לבדוק את תנאי השימוש של כל אחד מתשעת המקורות הזמינים לפני שימוש מסחרי.
האם יש במאגר הנחיות בעברית או התאמה למערכת הבריאות בישראל?
לא. כל הנתונים באנגלית בלבד ומשקפים נהלים של מדינות כמו ארצות הברית, קנדה ובריטניה, לצד ארגונים בינלאומיים. אין שום התאמה לסל התרופות או להנחיות משרד הבריאות הישראלי.
איך נאספו הנתונים?
הצוות אסף קובצי פי די אף ודפי רשת מ־17 מקורות רפואיים, המיר אותם לטקסט וניקה רעשים כמו הערות שוליים וטבלאות. המאגר הציבורי כולל רק את המקורות שהתירו הפצה מחדש.
מה ההבדל בין המאגר הזה לטקסטים רפואיים רגילים ברשת?
הוא מתמקד אך ורק בהנחיות קליניות רשמיות שמציגות קונצנזוס טיפולי של מומחים. אין כאן מאמרי מחקר בודדים או תיאורי מקרה, אלא סיכומי נהלים מחייבים.
איך טוענים
טוענים את המאגר ישירות דרך ספריית הדאטהסטס או קוראים את הקובץ המרכזי ששמור בפורמט ג'ייסון אלן. אין צורך באישור גישה מיוחד, המאגר פתוח להורדה ישירה. הרשומות כוללות שדות מפתח כמו מזהה ייחודי, שם המקור, הטקסט הגולמי והטקסט הנקי. שדות כמו כותרת, תקציר וכתובת מקור קיימים רק בחלק מהמקורות, כך שאי אפשר להסתמך עליהם לכל אורך הנתונים.
from datasets import load_dataset
ds = load_dataset("epfl-llm/guidelines")הרישיון
הרישיון מוגדר כרישיון אחר ומפנה לתנאי השימוש של קומון קרול. המשמעות היא שהטקסטים נאספו מסריקה ברשת ולא שוחררו תחת רישיון פתוח רגיל כמו קריאייטיב קומונס. חלק מהגופים המקוריים אוסרים שימוש מסחרי והפצה מחדש, ולכן הצוות הוציא מהפרסום שמונה מתוך שבעה עשר המקורות. אם אתם בונים מודל מסחרי, צריך לבדוק בנפרד את תנאי המקורות שנשארו במאגר.