ade_corpus_v2
קוד פתוחade-benchmark-corpusunknown2022-03-02
המאגר כולל משפטים באנגלית שמציינים תרופות, תופעות לוואי ומינונים. הוא מיועד למי שרוצה לאמן מודלים לזיהוי תופעות לוואי רפואיות או לחילוץ קשרים בין חומרים לתסמינים.
- 1,782הורדות בחודש
- 36לייקים
מה זה
המאגר מחזיק 23,516 רשומות בחלוקת אימון ומחולק לשלוש תצורות עבודה שונות. התצורה הראשונה מיועדת לסיווג פשוט של משפטים, עם תווית בינארית שקובעת אם המשפט מתאר תופעת לוואי של תרופה או לא, כולל משפטים שליליים מקובץ ייעודי שלא מכילים תופעות לוואי כלל.
שתי התצורות האחרות מיועדות לחילוץ קשרים וישויות. אחת ממפה את שם התרופה מול תופעת הלוואי שהיא גרמה לה, כולל מיקומי התווים המדויקים בתוך הטקסט, והשנייה ממפה בין התרופה לבין המינון שניתן בטקסט לצד אותם אינדקסים מדויקים. המידע הרפואי מבוסס על מאמר מדעי שפורסם בכתב עת, אך הכרטיס הנוכחי לא מפרט את הליך הסינון או את המקור הישיר של הטקסטים מעבר לקישור למאמר המקורי.
מתאים ל
- סיווג משפטים רפואיים
זיהוי אם משפט נתון מדווח על תופעת לוואי של טיפול או מתאר מצב ניטרלי.
- חילוץ קשרי תרופה ותופעת לוואי
שליפת צמדים של שמות תרופות וההשפעות השליליות שהן גרמו ישירות מתוך הטקסט.
- זיהוי מינוני תרופות
איתור ישויות של כמויות ומינונים וקישורן לשם התרופה המוזכרת במשפט.
איפה זה נופל
הטקסט כולו באנגלית רפואית בלבד, כך שהוא לא יעזור לכם כלל במערכות שצריכות להתמודד עם עברית או דיווחי מטופלים בשפה חופשית ויומיומית. הכרטיס משאיר כמעט כל סעיף תיעוד ריק: אין שום פירוט על הטיות אפשריות, מי תייג את הנתונים, איך נאספו המשפטים, או אילו מגבלות קיימות. הנתונים פורסמו במקור במאמר סביב 2012, מה שאומר שהטרמינולוגיה ושמות התרופות לא בהכרח משקפים מידע קליני מעודכן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
אי אפשר לדעת לפי דף המאגר, כי הרישיון מסומן כלא ידוע. שימוש בנתונים כאלה במוצר מסחרי עלול לחשוף אתכם להפרת זכויות יוצרים. עליכם לפנות למאמר המקורי שקושר בדף ולבדוק מהם תנאי ההפצה שהחוקרים קבעו שם.
האם המאגר כולל טקסטים או מונחים בעברית?
לא, המאגר כולל אך ורק טקסטים רפואיים באנגלית. הוא לא מתאים לאימון או לבדיקה של מודלים שמיועדים לעבד תיקים רפואיים בעברית. אם תרצו להשתמש בו למוצר מקומי, תצטרכו לתרגם את הנתונים או למפות אותם מחדש.
איך נאספו ותויגו הנתונים בדאטהסט?
כרטיס המאגר אינו מספק שום מידע על תהליך האיסוף, זהות המתייגים או בקרת האיכות. כל השדות האלה מופיעים תחת הערה שחסר מידע. כדי להבין מאיפה הטקסטים הגיעו בדיוק, צריך לקרוא את המאמר המדעי שפורסם בקישור המצורף.
כמה דוגמאות יש במאגר ואיך הוא מחולק?
המאגר כולל 23,516 רשומות, וכולן מוגדרות כחלק מסט האימון בלבד. אין בו חלוקה מובנית מראש לקבוצות בדיקה או ולידציה. מי שמשתמש בו יצטרך לפצל את הנתונים בעצמו כדי לבצע הערכת ביצועים מהימנה.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות בחירת אחת משלוש התצורות: סיווג, קשר תרופה ותופעת לוואי, או קשר תרופה ומינון. המאגר פתוח לחלוטין להורדה ללא צורך בבקשת אישור גישה מראש. הקבצים שמורים בפורמט parquet לפי כל תצורה, וכוללים את שדות הטקסט, התוויות, שמות התרופות, המינונים ואינדקסי התווים להתחלה וסוף של כל ישות.
from datasets import load_dataset
ds = load_dataset("ade-benchmark-corpus/ade_corpus_v2")הרישיון
הרישיון הרשום במאגר מוגדר כלא ידוע. המשמעות היא שאין לכם שום הרשאה מפורשת להשתמש בנתונים האלה, בטח שלא במוצר מסחרי, ואי אפשר לדעת אילו זכויות יוצרים חלות על מודל שתאמנו עליהם. אם אתם בונים מערכת לחברה או למוצר פעיל, אתם לוקחים סיכון משפטי ברור עד שתבדקו את תנאי הפרסום במאמר המקורי.