open_access
קוד פתוחpmccc0-1.0,cc-by-4.0,cc-by-sa-4.0,cc-by-nd-4.0,cc-by-nc-4.0,cc-by-nc-sa-4.0,cc-by-nc-nd-4.0,other,unknown2022-03-02
מעל שלושה מיליון מאמרים מדעיים ופרה-פרינטים רפואיים בטקסט מלא. מקור עצום לאימון מודלי שפה על תוכן ביו-רפואי שנאסף מתוך PubMed Central.
- 265הורדות בחודש
- 50לייקים
מה זה
המאגר כולל יותר מ־3.4 מיליון מאמרים אקדמיים ופרה-פרינטים מתוך PubMed Central שזמינים לשימוש חוזר ולכריית טקסט. בניגוד לרוב התוכן המוגן בזכויות יוצרים מסורתיות ב־PMC, החלק הזה מציע טקסטים מלאים של מחקרים שנאספו מכתבי עת שונים תחת מגוון תנאי רישוי מקלים יחסית.
המבנה של כל רשומה כולל את גוף הטקסט המלא לצד מטא-דאטה מזהה: מזהה PubMed, מזהה רצף ייחודי, סוג הרישיון המדויק, תאריך העדכון האחרון של המאמר וציטוט ביבליוגרפי. שדה קריטי נוסף מציין האם המאמר עבר משיכה רשמית מהפרסום, מה שמאפשר לסנן מחקרים שתוצאותיהם בוטלו.
התוכן עצמו מחולק לשלוש קבוצות רישוי עיקריות: מאמרים שמתירים שימוש מסחרי, מאמרים שמוגבלים לשימוש לא-מסחרי בלבד, ומאמרים תחת רישיונות מותאמים אישית או ללא רישיון קריא-מכונה. אין כאן חלוקה מובנית לסט אימון, ולידציה ובדיקה, כך שכל מלאכת החלוקה והסינון נשארת אצלכם.
מתאים ל
- אימון מקדים לטקסט רפואי
הרחבת אוצר המילים וההבנה של מודלי שפה בתחומי הביולוגיה, הרפואה ומדעי החיים בעזרת מיליוני מאמרים.
- חילוץ ישויות ביו-רפואיות
זיהוי שמות תרופות, מחלות, גנים ורצפים מתוך ספרות מחקרית ענפה בטקסט מלא.
- בניית מאגרי אחזור למחקר
הקמת מנועי חיפוש סמנטיים ואחזור מידע מבוסס מאמרים מדעיים עבור חוקרים וצוותים רפואיים.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד, ואין בו ייצוג לשפות אחרות. מעבר לכך, הכרטיס אינו מפרט הטיות, אופן נרמול הנתונים, תהליכי תיוג או טיפול במידע רגיש. המשמעות היא שאתם מקבלים טקסט רפואי גולמי שעלול להכיל הטיות מחקריות, מונחים שגויים או מידע שאינו עדכני. מדע הרפואה משתנה במהירות, וללא סינון פעיל של תאריכי העדכון או מאמרים שנמשכו, המודל עלול ללמוד עובדות שגויות לחלוטין. לא הייתי בונה על הנתונים האלה מוצר שמייצר המלצות קליניות בלי סינון קפדני מאוד של איכות המקורות.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצרים מסחריים?
רק בחלק ממנו. המאגר הוא אוסף של רישיונות שונים, החל מנחלת הכלל ועד רישיונות האוסרים שימוש מסחרי. כדי לבנות מוצר מסחרי, עליכם להשתמש רק ברשומות שמסומנות ברישיון מתאים כמו CC0 או CC BY.
האם יש במאגר תוכן בעברית?
לא, המאגר מוגדר כמאגר באנגלית בלבד. כל המאמרים והפרה-פרינטים שנאספו מתוך PubMed Central כתובים בשפה האנגלית, ואין בו ייצוג לספרות רפואית בעברית.
איך מסננים מאמרים לא אמינים או שגויים?
הרשומות מכילות שדה ייעודי בשם retracted שמציין אם המאמר נמשך על ידי כתב העת. בנוסף, ישנו שדה תאריך עדכון שמאפשר לסנן מחקרים ישנים מדי שלא תואמים את הידע הרפואי הנוכחי.
מה ההבדל בין המאגר הזה לכלל PubMed Central?
רוב המאמרים ב־PubMed Central מוגנים בזכויות יוצרים רגילות ואינם זמינים חוקית לכריית טקסט או אימון. המאגר הזה כולל אך ורק את תת-הקבוצה שפורסמה תחת רישיונות שימוש חופשיים יותר המאפשרים שימוש חוזר.
איך טוענים
הטעינה מתבצעת דרך סקריפט ייעודי בשם open_access.py שמתמודד עם היקף של מיליוני רשומות. המאגר פתוח ואינו דורש אישור גישה ידני, אך בגלל היקף הנתונים שנע בין מיליון לעשרה מיליון פריטים, מומלץ לעבוד עם טעינה זורמת ולא להוריד את כולו לזיכרון בבת אחת. לפני שאתם שולחים את הטקסטים לטוקנייזר, חובה לבדוק את השדות license ו־retracted. סינון המאמרים שנמשכו חיוני כדי לא להכניס שגיאות רפואיות לנתוני האימון, וסינון הרישיון קובע אם תוכלו להשתמש בתוצרים באופן חופשי.
from datasets import load_dataset
ds = load_dataset("pmc/open_access")הרישיון
הרישיונות משתנים ברמת המאמר הבודד. חלק מהמאמרים מופצים תחת נחלת הכלל או רישיונות פתוחים שמתירים שימוש מסחרי, אך חלק ניכר מוגבל לשימוש לא-מסחרי בלבד, או כולל דרישות שיתוף זהה ומניעת יצירות נגזרות. ישנם גם מאמרים עם רישיונות מותאמים או לא ידועים. מודל שיאומן על כל המאגר ללא סינון ייחשף לתנאים לא-מסחריים שמגבילים את שחרורו, ולכן חובה לסנן לפי שדה הרישיון לפני האימון.