miriad-5.8M
קוד פתוחmiriadרישיון לא דווח2025-05-13
מאגר ענק של 5.8 מיליון זוגות שאלות ותשובות רפואיות שחולצו ממאמרים אקדמיים. הוא נבנה במיוחד לאימון מודלים, אחזור מידע ומערכות RAG בתחום הביו-רפואי.
- 771הורדות בחודש
- 67לייקים
מה זה
המאגר כולל 5.8 מיליון רשומות מובנות של שאלות ותשובות בנושאים רפואיים וביו-רפואיים. במקום להסתמך רק על טקסטים חופשיים, הצוות לקח מאמרים שעברו ביקורת עמיתים מתוך המאגר הפתוח Semantic Scholar Open Research Corpus, המוכר כ־S2ORC, והשתמש בהם כבסיס עובדתי מוצק.
מתוך המאמרים האלה חולצו הנתונים באמצעות מודלי שפה של OpenAI, שיצרו את זוגות השאלות והתשובות באופן סינתטי ומזוקק. המטרה היתה לייצר דאטה מובנה שמתאים למשימות כמו מענה על שאלות, אימון מודלים לפי הוראות, זיהוי הזיות במודלים רפואיים ומערכות אחזור מידע מבוססות הקשר.
כל המידע מרוכז בפיצול יחיד של נתוני אימון, ומחולק על פני עשרות קבצים כדי לאפשר עבודה נוחה עם היקף הנתונים הזה. אין כאן חלוקות מובנות מראש למבחן או תיקוף, כך שתצטרכו להגדיר את החיתוכים בעצמכם בהתאם לניסוי שאתם מריצים.
מתאים ל
- אימון מודלי הוראות
כוונון עדין של מודלי שפה למענה מדויק על שאלות מורכבות בעולם הרפואה והביולוגיה.
- מערכות אחזור ו־RAG
טיוב יכולות שליפת מסמכים והתאמת קטעי מחקר רלוונטיים לשאילתות של משתמשים.
- בדיקת הזיות במודלים
הערכת היכולת של מודלים קיימים להבדיל בין מידע רפואי מבוסס למידע שגוי.
איפה זה נופל
התשובות בדאטהסט נוצרו על ידי מודלים של OpenAI ולא נכתבו ישירות בידי רופאים בשר ודם, מה שמשאיר פתח להזיות ואי-דיוקים. בנוסף, כל החומר מבוסס על ספרות באנגלית ואין פה בכלל תמיכה בעברית. היוצרים מצהירים במפורש שהחומר מיועד למחקר אקדמי בלבד, ולא נבדק על ידי שום גורם רגולטורי, כך שאסור להשתמש בו לקבלת החלטות קליניות או למוצרים רפואיים בפועל.
אותה משפחה
miriad יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוצהר ODC-By מאפשר עקרונית שימוש מסחרי עם מתן קרדיט מתאים. יחד עם זאת, הנתונים נוצרו עם מודלים של OpenAI ותנאי השימוש שלהם אוסרים שימוש באבחון רפואי של בני אדם, ובנוסף החוקרים מגבילים את השימוש למחקר אקדמי בלבד. לכן שימוש מסחרי קליני הוא בעייתי מאוד ומסוכן משפטית.
האם יש בדאטהסט תמיכה בעברית?
לא, המאגר מבוסס לחלוטין על מאמרי מחקר ביו-רפואיים באנגלית שמקורם במאגר S2ORC. אין בו רשומות בעברית, מושגים מקומיים או התאמה למערכת הבריאות בישראל. כדי להשתמש בו בהקשר מקומי תצטרכו לתרגם את הנתונים או לאמן מודל שמגשר בין השפות.
במה הוא שונה ממאגרי טקסט רפואיים רגילים?
במקום מאמרים גולמיים וארוכים שקשה להזין ישירות למודל, כאן המידע זוקק ל־5.8 מיליון זוגות מובנים של שאלה ותשובה. זה חוסך עבודה רבה של ניקוי ועיבוד מקדים, ומאפשר לאמן מודלים ישירות על משימות שיחה, הנחיות ואחזור מידע.
איך טוענים
הטעינה מתבצעת ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה miriad/miriad-5.8M והגדרת split="train". הנתונים מחולקים ל־64 קובצי Parquet שונים, בתוספת קובצי מערכת ותיעוד, כך שמדובר בהורדה מסיבית למדי. אין צורך לבקש אישור גישה מיוחד או למלא טפסים, המאגר פתוח להורדה ישירה לכל מי שרוצה להתחיל לעבוד.
from datasets import load_dataset
ds = load_dataset("miriad/miriad-5.8M")הרישיון
למרות שבחלק העליון לא צוין רישיון רשמי, בגוף התיעוד מובהר שהוא משוחרר תחת רישיון ODC-By v1.0 הדורש ייחוס בלבד. עם זאת, הוא כפוף לתנאי השימוש של OpenAI שאוסרים שימוש בפלטים לצורך אבחון רפואי או קבלת החלטות לגבי אנשים אמיתיים. אם אתם מתכננים מוצר מסחרי, ההגבלות האלה מייצרות בעיה משפטית שחייבים לבדוק לעומק.