bc5cdr
קוד פתוחbigbioother2022-11-13
תיוג ידני של חומרים כימיים, מחלות והקשרים ביניהם מתוך ספרות רפואית. מתאים למי שבונה מודלים לחילוץ ישויות וקשרים ביו רפואיים.
- 1,861הורדות בחודש
- 16לייקים
מה זה
המאגר מכיל תיוגים אנושיים שנעשו על גבי 1,500 מאמרים מדעיים מתוך פלטפורמת PubMed. הטקסטים מיועדים למשימות עיבוד שפה טבעית בעולם הביו רפואי, ומכסים זיהוי ישויות של כימיקלים ומחלות, קישור ישויות למאגרי מידע, וזיהוי קשרים ישירים של השפעת חומרים על מחלות.
הנתונים מגיעים ישירות ממשימת האתגר של BioCreative V track 3, שפורסמה בכתב העת Database בשנת 2016. המקורות נבחרו מתוך הספרות המחקרית הרפואית הפתוחה, כאשר בני אדם עברו על המאמרים וסימנו ידנית את כל ההופעות של הישויות והאינטראקציות ביניהן לפי הנחיות תיוג מוגדרות.
מתאים ל
- זיהוי ישויות רפואיות
אימון מודלים לאיתור שמות של חומרים כימיים ומחלות בתוך טקסטים מדעיים באנגלית.
- חילוץ קשרים רפואיים
זיהוי יחסי גרימה והשפעה בין חומרים כימיים למחלות מתוך ספרות מחקרית.
- הערכת ביצועי מודלים
שימוש בנתונים כבנצ'מרק השוואתי למשימות עיבוד שפה טבעית בעולם הביו רפואי.
איפה זה נופל
הטקסט כולו באנגלית בלבד ומבוסס על ספרות מחקרית מדעית מתוך מאמרי PubMed. הוא לא מייצג שיחות חולין, תיקים רפואיים קליניים או עברית רפואית. המחקר פורסם במקור בשנת 2016, כך שמידע או תרופות חדשות מהשנים האחרונות לא מופיעים כאן. לפני שמכניסים מודל כזה למוצר, צריך לוודא שהזיהוי לא נשען רק על אוצר המילים הייחודי למאמרים מדעיים ישנים.
שאלות
נפוצות
האם המאגר כולל טקסטים בעברית?
לא, המאגר מבוסס כולו על אנגלית מדעית ממאמרי PubMed. אם אתם עובדים על תיקים רפואיים בעברית, הנתונים האלה לא יתאימו לכם ישירות ללא תרגום והתאמה.
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
הרישיון מוגדר תחת נחלת הכלל, Public Domain Mark 1.0, למרות שבסיווג הכללי רשום other. המשמעות היא שאין מניעה חוקית לאמן מודלים לשימוש מסחרי, אך כדאי לבדוק את תנאי המקור של המאמרים עצמם.
איך נאספו ותויגו הנתונים בפועל?
הנתונים נלקחו מתוך 1,500 מאמרים מדעיים ממאגר PubMed עבור אתגר BioCreative V. צוות אנושי תייג ידנית את כל שמות החומרים, המחלות והקשרים לפי קובץ הנחיות רשמי שנכלל במאגר.
האם נדרש אישור גישה מיוחד כדי להוריד את הקבצים?
אין צורך באישורים, במילוי טפסים או בחשבון מאושר מראש. הגישה פתוחה לחלוטין וניתן לטעון את הנתונים ישירות דרך הקוד בלי שום חסימה.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות המזהה bigbio/bc5cdr. המאגר פתוח לציבור ואינו דורש אישור גישה מוקדם או מפתחות. בפנים תמצאו סקריפטים כמו bc5cdr.py יחד עם קובץ הנתונים המכווץ CDR_Data.zip והנחיות התיוג בקובץ PDF. השדות המרכזיים מתמקדים בטקסט המאמרים, בישויות המזוהות ובקשרים שחולצו.
from datasets import load_dataset
ds = load_dataset("bigbio/bc5cdr")הרישיון
הרישיון הרשמי מוגדר כ־other, אך ברמת המטא דאטה של bigbio מצוין Public Domain Mark 1.0. זה אומר שהטקסטים מיועדים לשימוש חופשי בנחלת הכלל ללא הגבלות זכויות יוצרים מסחריות. עדיין מומלץ לתת קרדיט למאמר המקורי של BioCreative V מ־2016 כשמשתמשים במאגר או במודל שאומן עליו.