medal

מה זה

המאגר מבוסס על תקצירים מתוך PubMed ו־MEDLINE של הספרייה הלאומית לרפואה בארצות הברית. החוקרים לקחו טקסט רפואי בהיקף של כ־14 מיליון תקצירים, וארגנו אותו סביב משימה אחת: החלפה של מונחים בראשי תיבות כדי ללמד מודלים לשחזר את המילה המקורית הנכונה מתוך כמה אפשרויות קליניות שונות.

המבנה של כל רשומה כולל שלושה שדות: הטקסט המנורמל של התקציר, המיקום של הקיצור שהוחלף בתוך הטקסט, והתווית שמייצגת את המונח המקורי המלא שהיה שם לפני ההחלפה.

הנתונים מחולקים לקובץ המלא שכולל 14 מיליון תקצירים, לצד חלוקות ייעודיות של אימון, אימות ובדיקה ששימשו להערכת המודלים במחקר המקורי.

מתאים ל

• אימון מקדים לטקסט רפואי

  לימוד ייצוגי שפה על מיליוני תקצירים מדעיים באנגלית לשיפור הבנה של מונחים מורכבים.

• פתרון ראשי תיבות קליניים

  זיהוי המשמעות המדויקת של קיצור מתוך מספר אפשרויות שונות לפי ההקשר במשפט.

• בנצ'מרק למודלי שפה ברפואה

  הערכת היכולת של מודלים להתמודד עם הבנת הנקרא וסיווג מונחים במאמרים ביו-רפואיים.

איפה זה נופל

כל הטקסטים נכתבו באנגלית ומגיעים מפרסומים רפואיים אקדמיים, כך שיש כאן הטיה מובהקת למחקר מערבי ואנגלו-צנטרי. אי אפשר להשליך ממנו ישירות על עברית, על תיעוד רפואי מקומי של קופות חולים או על שפות אחרות בלי אימון נוסף. מעבר לזה, הכרטיס לא מפרט מידע על סינון מידע רגיש או פרטי, ומפנה למאמר המקורי בלי להרחיב על תהליך יצירת הקיצורים עצמו.

איך טוענים

טוענים את הנתונים דרך ספריית datasets או ישירות מקובצי ה־CSV המכווצים במאגר. הגודל המקורי עמד על 14 ג'יגה בייט וצומצם לכ־4 ג'יגה בייט, כך שצריך לפנות שטח דיסק וזיכרון עבודה מתאים לפני שמתחילים לפרוס אותו. אין צורך בהרשאת גישה מיוחדת או באישור ידני. השדות שמעבדים הם text, location ו־label.

from datasets import load_dataset

ds = load_dataset("McGill-NLP/medal")

הרישיון

הרישיון מוגדר כלא ידוע ברמת המאגר, אבל הטקסטים כפופים ישירות לתנאי השימוש של NLM ו־PubMed. התנאים דורשים מתן קרדיט ברור לספרייה הלאומית לרפואה של ארצות הברית, איסור על רמיזה שהם מאשרים את המוצר שלכם, ואזהרה שחלק מהתקצירים מוגנים בזכויות יוצרים. אסור להניח שמותר להשתמש בזה מסחרית בלי בדיקה משפטית של זכויות היוצרים על התקצירים עצמם.

הרישיון המלא ב־Hugging Face ↗