PubMed_MultiLabel_Text_Classification_Dataset_MeSH
קוד פתוחowaiskha9654afl-3.02022-08-02
המאגר כולל סביב 50,000 מאמרים מתוך פאבמד שמתוייגים ידנית לנושאים רפואיים מורכבים. מי שיבחר בו מחפש להתמודד ישירות עם בעיות של סיווג טקסט מרובה תוויות בעולם הביורפואי.
- 178הורדות בחודש
- 25לייקים
מה זה
במקור, המאמרים נלקחו ממאגר פאבמד ותויגו ידנית בידי מומחים ביו-רפואיים באמצעות מערכת התגיות של MeSH. כל מאמר קיבל בין עשרה לחמישה עשר תיוגים שונים. המבנה המקורי יצר מרחב פלט עצום ודלילות חריפה של תוויות, מה שמקשה מאוד על אימון רשתות סטנדרטיות.
כדי לעקוף את המכשול הזה, המפרסם עיבד את הנתונים ומיפה את התוויות הרפואיות חזרה לרמות השורש של עץ המושגים. המאגר מוגש בקובץ מעובד יחיד בשם PubMed Multi Label Text Classification Dataset Processed.csv, שמרכז את התוצאה אחרי פישוט התגיות, במקום לעבוד עם עשרות אלפי ענפים שונים של מונחים.
מתאים ל
- אימון סיווג מרובה תוויות
פיתוח מודלים שמתמודדים עם שיוך של מספר תוויות רפואיות במקביל לכל טקסט.
- בדיקת דחיסת תוויות
בחינת ביצועי מודלים כאשר מרחב התוויות הגדול ממופה חזרה למונחי שורש היררכיים.
- מיון תקצירי מחקר
בניית כלי שמקטלג מאמרים רפואיים חדשים לפי קטגוריות על של עץ המונחים הביורפואי.
איפה זה נופל
הטקסט כולו באנגלית, ולכן הוא לא יעזור כלל למי שמפתח כלי עיבוד שפה למסמכים רפואיים בעברית. מעבר לכך, התוויות עברו פישוט ודחיסה לעצי שורש, מה שאמנם פתר את בעיית הדלילות אך העלים הבחנות קליניות עדינות שנמצאות במאמר המקורי. בנוסף, הנתונים הועלו באוגוסט 2022 והכרטיס לא מפרט אילו שנים או תחומי מחקר נדגמו מפאבמד.
שאלות
נפוצות
האם יש כאן תמיכה בעברית?
לא. המאגר מבוסס לחלוטין על מאמרי פאבמד באנגלית. אם אתם צריכים לסווג רשומות רפואיות מקומיות או מסמכים בעברית, המאגר הזה לא יתאים לאימון ישיר ללא תרגום או התאמה.
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, רישיון AFL-3.0 מתיר שימוש מסחרי בנתונים. עליכם להקפיד לכלול את תנאי הרישיון המקוריים ואת הצהרת זכויות היוצרים בתוך התיעוד של המוצר שאתם מפיצים.
איך פתרו את בעיית ריבוי התוויות בכרטיס?
במקום להשאיר אלפי תוויות MeSH פרטניות שיצרו דלילות קיצונית, המחבר מיפה את התוויות היררכית למונחי הבסיס שלהן. התוצאה היא קבוצת תוויות קטנה וצפופה יותר שמופיעה בקובץ ה־CSV המעובד.
מה היקף המאגר מבחינת כמות המאמרים?
במאגר יש כ־50,000 מאמרים שנדגמו ממאגר פאבמד. כל מאמר מגיע עם התיוג המומחה שעבר עיבוד, כך שמדובר בסדר גודל בינוני שמתאים לבדיקות ולמודלים סטנדרטיים.
איך טוענים
אין כאן תהליכי הרשאה מיוחדים או טפסים לאישור. מורידים את קובץ ה־CSV המעובד ישירות מתוך המאגר בהאגינג פייס, וטוענים אותו לתוך פנדס או סקריפט עיבוד נתונים בפייתון. הקובץ מכיל את הטקסטים של המאמרים יחד עם התוויות הממופות, והוא מוכן לעבודה מידית למשימות סיווג מרובה תוויות בלי צורך לבנות סקריפטים למיפוי מונחי שורש.
from datasets import load_dataset
ds = load_dataset("owaiskha9654/PubMed_MultiLabel_Text_Classification_Dataset_MeSH")הרישיון
המאגר מופץ תחת רישיון Academic Free License גרסה 3.0. הרישיון מתיר שימוש מסחרי, שינוי של הנתונים והפצה, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון המקורי. הוא כולל גם הענקת זכויות פטנטים מפורשת ואינו דורש שיתוף של מודלים שאימנתם תחת אותו הרישיון בדיוק.