ChatMed_Consult_Dataset

מה זה

המאגר מכיל 110,113 צמדים של שאלות ותשובות רפואיות בסינית. השאלות נאספו בסריקה מאתרי ייעוץ רפואי ברשת, כך שהן מציגות פניות אותנטיות של משתמשים וחולים אמיתיים עם בעיות מגוונות. התשובות לא נכתבו בידי רופאים אלא נוצרו במלואן באמצעות GPT-3.5 של OpenAI.

המבנה של הרשומות ישיר לגמרי, פורמט שורות ג'ייסון שכולל רק שני שדות: שאלה ותשובה. כל הנתונים יושבים בחלוקה יחידה של אימון, בלי ספליטים מובנים להערכה או מבחן, והכרטיס מציין שהסינון של תשובות רופאים מקוריות מול חולים אמור היה לקרות בעתיד ולא בוצע בגרסה הזו.

מתאים ל

• אימון בסיס לייעוץ בסינית

  הזרקת ידע רפואי וסגנון פנייה קליני למודלי שפה שמתמחים בשיחה בסינית.

• מחקר על הזיות רפואיות

  בדיקת מידת הדיוק והשגיאות של GPT-3.5 מול שאלות בריאות מורכבות בעולם האמיתי.

• סינון וטיוב תשובות

  בניית שיטות אלגוריתמיות לזיהוי והסרה של פלטים שגויים מתוך מאגרים סינתטיים.

איפה זה נופל

זה מאגר בסינית בלבד, בלי מילה אחת בעברית או באנגלית, כך שלמוצר ישראלי מקומי הוא לא רלוונטי ישירות. הבעיה המרכזית היא שכל המידע הרפואי נוצר על ידי GPT-3.5, והיוצרים עצמם מודים שהוא מכיל שגיאות והטיות בלתי נמנעות. אין כאן בדיקה של איש מקצוע אנושי, חסר מידע על סינון פרטים אישיים של השואלים, וההסתמכות עליו כבסיס לייעוץ קליני מסוכנת מאוד.

איך טוענים

טוענים את הקובץ ישירות מפורמט ג'ייסון, למשל דרך ChatMed_Consult-v0.3.json. המאגר פתוח לגישה ציבורית מיידית ללא צורך בהרשאות מיוחדות או אישור מול Hugging Face. העבודה מולו פשוטה מאוד כי אין מטא-דטה מורכב, פשוט רצים על השדות query ו־response בלולאת אימון רגילה של יצירת טקסט.

from datasets import load_dataset

ds = load_dataset("michaelwzhu/ChatMed_Consult_Dataset")

הרישיון

יש פה בלבול ברישיונות שחובה לשים לב אליו. במטא-דטה מוגדר רישיון cc-by-4.0 שמתיר שימוש מסחרי, אבל בטקסט עצמו היוצר ציין במפורש CC BY-NC 4.0 שאוסר מסחר. בנוסף, הנתונים נוצרו ב־OpenAI, מה שמגביל אימון מודלים מתחרים. מודל שתאמנו עליו לא בטוח חוקי להפצה מסחרית.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗