ai-medical-dataset

מה זה

המאגר כולל כ־27 מיליון שורות ומורכב משני שדות בלבד, שאלת המשתמש וההקשר הרפואי שמתאים לה. המבנה הזה נבנה ישירות לצורך אימון מודלי שפה שמחפשים מענה מבוסס מקורות, במקום טקסט חופשי ולא מובנה.

התוכן נאסף משלושה מקורות מרכזיים. הנתח העיקרי מגיע מ־PubMed עם כ־968.4 מיליון מילים, אליו מצטרפים נתונים מאתר הניסויים הקליניים ClinicalTrials בהיקף של 127.4 מיליון מילים, ו־12 מיליון מילים נוספות ממאגר התרופות האירופי EMEA. כרטיס הדאטהסט לא מפרט תהליכי סינון, ניקוי או הסרת כפילויות שבוצעו על החומרים האלה לפני החלוקה לשאלות.

מתאים ל

• אימון מודל שפה רפואי

  פיין-טיונינג של מודלים להתמודדות עם שאלות מדעיות ורפואיות מורכבות.

• טיוב מערכות אחזור מידע

  אימון מודלי הטמעה לצורך התאמה בין שאלות משתמשים לקטעי מידע קליניים.

• מבחני דיוק למענה קליני

  הערכת היכולת של מודל קיים לחלץ תשובה נכונה מתוך הקשר רפואי נתון.

איפה זה נופל

הנתונים כולם באנגלית ומבוססים על ספרות מקצועית, כך שאין כאן התאמה לשפה העברית או לטרמינולוגיה מקומית של קופות החולים ובתי החולים בארץ. בנוסף, הכרטיס לא מפרט כיצד נוצרו השאלות, האם רופא עבר עליהן או שהן חולצו בצורה אוטומטית. מי שבונה מוצר רפואי אמיתי יצטרך לבדוק בעצמו אם המודל לא מייצר הזיות מבוססות הקשר שגוי.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets בפייתון בעזרת השם ruslanmv/ai-medical-dataset, ללא צורך בהרשמה או באישור גישה מוקדם. הקבצים שמורים בפורמט Parquet ומחולקים ל־18 קובצי משנה של סט האימון. בגלל שמדובר ב־27 מיליון רשומות, כדאי לטעון בהתחלה מדגם קטן בעזרת select כדי לבדוק את התאמת השדות question ו־context לפני שמושכים את כל המשקל לזיכרון.

from datasets import load_dataset

ds = load_dataset("ruslanmv/ai-medical-dataset")

הרישיון

יש סתירה בין המטא-דאטה שמציין רישיון creativeml-openrail-m לבין הטקסט בעמוד שמצהיר על CC-BY 4.0. רישיון OpenRAIL כולל הגבלות שימוש מחמירות על מודלים כדי למנוע ייעוץ רפואי אסור, בעוד ש־CC-BY דורש ייחוס בלבד. מפתח שמתכנן מוצר מסחרי צריך לברר מול היוצר מהו הרישיון התקף לפני תחילת האימון.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗