medical_dialogue-chinese-zhtw
קוד פתוחerhwenkuomit2023-09-27
מאגר שיחות רפואיות בסינית מסורתית שמכיל מאות אלפי שאלות ותשובות מרופאים. הוא מיועד למי שמפתח מודל שיחה רפואי וזקוק לדאטה מוכן בפורמט הוראות מדויק.
- 148הורדות בחודש
- 25לייקים
מה זה
המאגר כולל 792,099 צמדי שאלות ותשובות מעולמות הרפואה, כולם בסינית מסורתית. הרשומות מחולקות לפי שש מחלקות רפואיות שונות, ובהן רפואה פנימית עם 220,606 רשומות, רפואת נשים ויולדות עם 183,751, כירורגיה עם 115,991, רפואת ילדים עם 101,602, רפואת גברים עם 94,596, ואונקולוגיה עם 75,553 רשומות.
המקור מגיע מפרויקט גיטהאב קיים בשם Toyhom/Chinese-medical-dialogue-data, ועבר כאן המרה לכתב מסורתי. כל רשומה מעוצבת בתבנית הוראה ישירה הכוללת הנחיה למודל לפעול כרופא מתחום מסוים, את שאלת המטופל המקורית, ואת תשובת הרופא המפורטת עם הסבר רפואי והמלצה להמשך טיפול.
מתאים ל
- אימון מודל רפואי בסינית
כוונון עדין של מודלי שפה להבנת מונחים רפואיים ומענה למטופלים בכתב סיני מסורתי.
- מחקר סיווג פניות
בניית מודלים שמנתחים שאלות של מטופלים ומנתבים אותן לשש המחלקות הרפואיות המוגדרות.
- הערכת ביצועי מודלים
בדיקת יכולת המודל לייצר הנחיות זהירות למטופל ולהפנות אותו להמשך בדיקה מקצועית.
איפה זה נופל
הנתונים כולם בסינית מסורתית בלבד ואין כאן עברית או אנגלית בכלל, מה שהופך אותו ללא רלוונטי למי שבונה שירות מקומי לישראל בלי תרגום מלא. מעבר לכך, הכרטיס לא מפרט מי הרופאים שענו, מאיזה בתי חולים הגיע המידע או מתי בדיוק הוא נאסף ברשת.
בעולם הרפואי להטיות כאלה יש משמעות כבדה, במיוחד כשאי אפשר לדעת אם התשובות עברו ביקורת עמיתים קלינית לפני הפרסום. המפרסם עצמו מבהיר שהדאטהסט מיועד למחקר בלבד, מתנער מכל אחריות לנזקים, ואוסר על שימוש שיכול להביא לפגיעה.
שאלות
נפוצות
האם המאגר כולל עברית או מתאים לפיתוח בארץ?
לא, המאגר כולו כתוב בסינית מסורתית ואינו מכיל שום תוכן בעברית. שימוש בו לפרויקט ישראלי יחייב תרגום או התאמה מורכבת של המונחים הרפואיים.
מותר להשתמש בו לאימון מודל מסחרי?
הרישיון המדווח הוא mit שמאפשר שימוש מסחרי רחב. יחד עם זאת, הכרטיס מדגיש שהדאטה מיועד למחקר ומגביל שימושים שעלולים לפגוע בחברה, ובתחום הרפואי זה דורש משנה זהירות.
איך הנתונים נאספו במקור?
הנתונים הומרו ממאגר גיטהאב קיים בשם Toyhom/Chinese-medical-dialogue-data. הכרטיס הנוכחי לא מפרט את אופן הדגימה המקורי של השיחות או את זהות הרופאים.
איך המידע מחולק מבחינת קבצים?
המאגר מגיע בשני קובצי parquet עיקריים שמרכיבים יחד את סט האימון. אין חלוקה מובנית מראש לחלקי בדיקה או ולידציה, ותצטרכו לפצל אותו עצמאית.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בלי צורך באישור גישה מוקדם או בהרשמה מיוחדת. כל המידע יושב בתוך שני קובצי parquet תחת פיצול train יחיד, כך שאין צורך להתעסק בהורדות ידניות מסובכות.
המבנה של כל רשומה כולל שלושה שדות טקסט בלבד: instruction שמגדיר את התפקיד הרפואי, input שמכיל את תלונת המטופל, ו־output שכולל את תגובת הרופא. בגלל שמדובר בכמעט שמונה מאות אלף רשומות טקסט, כדאי לוודא שיש לכם מספיק זיכרון עבודה פנוי לפני שאתם טוענים את הכל בבת אחת לתוך סביבת האימון שלכם.
from datasets import load_dataset
ds = load_dataset("erhwenkuo/medical_dialogue-chinese-zhtw")הרישיון
המאגר מופץ תחת רישיון mit. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, היוצר הוסיף הגבלה על שימוש שמסב נזק חברתי, כך שכדאי לבחון היטב יישומים רפואיים קריטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש