miriad-4.4M
קוד פתוחmiriadרישיון לא דווח2025-05-13
במאגר יש 4.4 מיליון צמדי שאלות ותשובות רפואיים שחולצו ממאמרים אקדמיים. הוא פונה למי שצריך דאטה סינתטי מבוסס ספרות לצורכי אחזור, בדיקת הזיות ואימון מודלים בתחום הבריאות.
- 807הורדות בחודש
- 37לייקים
מה זה
הרשומות במאגר כוללות זוגות מובנים של שאלה ותשובה שנבנו על בסיס ספרות ביו-רפואית שעברה ביקורת עמיתים. המקור הראשוני של הטקסטים הוא מאגר המחקר S2ORC של Semantic Scholar, ששימש כקלט ליצירת הנתונים. המפתחים הזינו את המסמכים הללו לתוך מודלי שפה של OpenAI, והם אלה שזיקקו ויצרו בפועל את השאלות והתשובות הרפואיות.
התוכן מאורגן כסט אימונים יחיד שמחולק לקבצים שונים. הכרטיס לא מפרט תהליכי סינון ידניים נוספים שנעשו אחרי שלב ההפקה באמצעות המודלים, אבל מציין שהמטרה היתה ליצור דאטה מובנה ואיכותי שמתאים למשימות הבנה והסקה רפואית. הנתונים מתמקדים בידע מדעי ומחקרי ולא בתיקים רפואיים של מטופלים.
מתאים ל
- אימון מודלים להוראות
כוונון עדין של מודלי שפה לעבודה מול שאלות ותשובות שמנוסחות בעולם המונחים הביו-רפואי.
- בניית מערכות אחזור
אימון ושיפור רכיבי חיפוש ו־RAG מול ספרות מדעית ומאמרים רפואיים.
- זיהוי הזיות ברפואה
בדיקת אמינות והערכת תשובות של מודלים בהשוואה לתוכן מדעי שזוקק ממאמרי עמיתים.
איפה זה נופל
הנתונים נוצרו בעזרת מודלי שפה, ולכן הם עלולים לסחוב הזיות ואי-דיוקים שמקורם במודלים עצמם. המקורות כולם באנגלית ומבוססים על מאמרים מדעיים, כך שאין כאן עברית או שפה קלינית מקומית. הכרטיס מציין במפורש שהתוצר לא נבדק על ידי שום גוף רגולטורי, ואסור לחלוטין להשתמש בו לקבלת החלטות קליניות או לאבחון רפואי עבור אנשים אמיתיים. אם אתם בונים כלי למרפאה, החומר הזה מוגדר למחקר בלבד.
אותה משפחה
miriad יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא בצורה פשוטה. רישיון המקור ODC-By מאפשר שימוש מסחרי תחת ייחוס, אבל החוקרים החילו עליו את תנאי OpenAI והצהירו שהחומר מיועד למחקר בלבד. חל איסור ברור להשתמש במידע לקבלת החלטות רפואיות על מטופלים.
האם יש במאגר שאלות ותשובות בעברית?
לא. המאגר נבנה כולו על גבי מאמרים ביו-רפואיים ממאגר S2ORC, שנכתבו באנגלית. אם אתם צריכים דאטה לאימון מודל בעברית, תצטרכו לתרגם את החומר בעצמכם או לחפש מקור אחר.
מאיפה הגיעו השאלות והתשובות?
הן לא נכתבו ישירות בידי רופאים. החוקרים לקחו מאמרים אקדמיים שעברו ביקורת עמיתים מתוך S2ORC והזינו אותם למודלים של OpenAI, שחילצו וייצרו מהם את צמדי השאלות והתשובות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודה load_dataset עם המזהה miriad/miriad-4.4M ובחירה בפיצול train. אין צורך לבקש אישור גישה מראש, המאגר פתוח להורדה ישירה.
בפנים תמצאו 50 קובצי parquet שמחלקים ביניהם את כל 4.4 מיליון הדוגמאות, לצד קובצי תשתית. בגלל שמדובר בעשרות קבצים ובמיליוני רשומות, כדאי לוודא שיש לכם מספיק זיכרון עבודה ונפח אחסון מקומי לפני שמתחילים לפרוק את הכל.
from datasets import load_dataset
ds = load_dataset("miriad/miriad-4.4M")הרישיון
החוקרים שחררו את המאגר תחת רישיון ODC-By v1.0, שדורש מתן קרדיט ומתיר עקרונית שימוש ושינוי, כולל שימוש מסחרי. עם זאת, בגלל שהדאטה נוצר באמצעות מודלים של OpenAI ומתבסס על S2ORC, הוא כפוף גם לתנאי השימוש של OpenAI. המשמעות היא איסור מוחלט על שימוש באבחון רפואי וקבלת החלטות על אנשים, והגבלת החומר למחקר אקדמי בלבד.