medical-transcription-instruct
קוד פתוחDataFogרישיון לא דווח2024-08-20
המאגר כולל כמעט 39 אלף זוגות של הוראות ותשובות שמבוססים על תמלולים רפואיים באנגלית. הוא מיועד למי שרוצה לאמן מודלים לפעולות ניתוח, תמצות וסיווג של טקסט קליני.
- 38הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל 38,924 שורות של נתוני הוראה, קלט ופלט שנבנו סביב תמלולים רפואיים קליניים. הבסיס המקורי מגיע ממאגר תמלולים מוכר ב־Kaggle, שפורסם שם תחת רישיון חופשי, ועליו חברת DataFog בנתה שכבה של משימות מונחות הוראות. כל רשומה כוללת את התמלול הרפואי עצמו לצד ההוראה והפלט המצופה ממנה, יחד עם תיאור קצר, תחום ההתמחות הרפואי ושם הדגימה.
בנוסף לטקסט הגולמי, המאגר מספק מדדים כמותיים ומאפיינים שנוצרו בעיבוד מקדים. תמצאו שם מילות מפתח מקוריות לצד מילות מפתח שחולצו אוטומטית בעזרת אלגוריתם TF-IDF, ספירת תווים, אורך מנורמל בסולם של אפס עד אחת וציון מורכבות של הטקסט. המשימות מחולקות לסוגים מוגדרים שכוללים זיהוי תחום המומחיות הרפואי, תמצות התמלול, חילוץ מילות מפתח, הערכת מורכבות השפה, קביעת אורך יחסי והצעת שאלות המשך לבירור רפואי.
מתאים ל
- אימון מודל לתמצות רפואי
כוונון של מודל שפה כדי שידע לסכם תמלולי שיחות ודוחות קליניים ארוכים באנגלית לנקודות עיקריות.
- סיווג תמלולים לפי תחום
לימוד מודלים לזהות לאיזה תחום התמחות שייך דוח רפואי על בסיס התוכן והמונחים שמופיעים בו.
- חילוץ מילות מפתח קליניות
אימון מערכות לאיתור מושגים מרכזיים, תסמינים ואבחנות רפואיות ישירות מתוך טקסטים לא מובנים.
איפה זה נופל
כל הטקסטים הם באנגלית בלבד ואין במאגר מילה אחת בעברית. הנתונים מתבססים על תמלולים ישנים יחסית, כך שהם עלולים להכיל הטיות קליניות או פערי מידע היסטוריים שלא משקפים פרוטוקולים עדכניים. למרות שהכרטיס מציין שהחומר עבר תהליך הסרת פרטים מזהים, היוצרים מדגישים שקיימים סיכוני פרטיות פוטנציאליים ושאין להסתמך על הפלטים לקבלת החלטות רפואיות אמיתיות בשטח ללא פיקוח מומחה ובדיקה קפדנית. בנוסף, משימות כמו חילוץ מילות המפתח נשענות על שיטות בסיסיות כמו TF-IDF, מה שעשוי להכניס רעש לדאטה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הכרטיס לא מציין רישיון, ולכן אין היתר שימוש ברור וחתום. אמנם הנתונים המקוריים הגיעו ממאגר CC0, אבל DataFog עיבדו אותם מחדש ולא פירסמו תנאים. עבור פרויקט מסחרי יש פה סיכון משפטי, ועדיף לפנות ליוצר במייל לפני השימוש.
האם המאגר כולל טקסטים בעברית?
לא, המאגר כולו כתוב באנגלית קלינית. אם אתם בונים מערכת שמיועדת למערכת הבריאות הישראלית, תצטרכו לתרגם את הנתונים, להתאים אותם לטרמינולוגיה מקומית, או לחפש נתונים אחרים לחלוטין.
איך נאספו ונוצרו הנתונים האלה?
הבסיס מגיע ממאגר תמלולים רפואיים שהועלה בעבר ל־Kaggle. חברת DataFog לקחה את הטקסטים האלה, הוסיפה להם הוראות ופלטים מוגדרים מראש, וחישבה מדדים סטטיסטיים כמו אורך, ציוני מורכבות ומילות מפתח.
איך טוענים
הנתונים יושבים בקובץ CSV יחיד בשם datafog-medical-transcription-instruct.csv, לצד קובץ תיעוד. אין צורך בבקשת גישה מיוחדת, הרשמה או אישור מקדים כדי להוריד אותו מ־Hugging Face, והוא נטען ישירות בספריית datasets הרגילה של פייתון או ב־pandas. העמודות המרכזיות לעבודה הן instruction, task_output ו־transcription, וכדאי לשים לב גם ל־medical_specialty ו־complexity_score אם אתם רוצים לסנן את החומר לפי רמת קושי או ענף רפואי ספציפי לפני האימון.
from datasets import load_dataset
ds = load_dataset("DataFog/medical-transcription-instruct")הרישיון
היוצרים לא הגדירו רישיון רשמי בעמוד המאגר. למרות שהמקור מ־Kaggle פורסם תחת CC0, DataFog שינו את הנתונים ולא הצהירו במפורש על תנאי השימוש שלהם. מבחינה משפטית זה מצב אפור ומסוכן, כי אי אפשר לדעת בוודאות אם מותר להשתמש במאגר לפיתוח מודל מסחרי או מה חובות הייחוס הנדרשות.