Traditional-Chinese-Medicine-Dataset-Pretrain
קוד פתוחSylvanLapache-2.02024-09-28
מאגר נדיר של כג'יגה טקסט רפואי סיני מסורתי לאימון מקדים, שמקורו בתיקים קליניים לא מקוונים וספרי מופת עתיקים. הוא מיועד למי שבונה מודל שפה שצריך להבין אבחון ומרשמים בסינית ולא מסתפק בסריקות רשת כלליות.
- 478הורדות בחודש
- 33לייקים
מה זה
המאגר מחולק לשלוש קטגוריות עיקריות בתוך עשרה קבצים שונים. החלק הראשון מכיל מעל 355 אלף רשומות רפואיות קליניות מרופאים מומחים ומערכת EMR של בית חולים לרפואה סינית, הכוללות תלונות מטופלים, אבחנות ומרשמי צמחים. החלק השני מורכב מ־146,244 רשומות מתוך 688 ספרי לימוד וספרי מופת היסטוריים שעברו המרה מקבצי PDF, תמונות ו־Word. החלק השלישי כולל מעל 30,000 הגדרות אנציקלופדיות של מונחים, מחלות, נקודות דיקור ותרופות ממאגרים מקצועיים וממינוחי ICD-10.
רוב מוחלט של החומר, כ־99 אחוזים, נכתב בסינית מפושטת. תהליך הסינון נעשה בעיקר ידנית, ללא הרצת minHash להסרת כפילויות מתוך החלטה מכוונת של היוצרים. נתוני התיקים הקליניים עברו אנונימיזציה להסרת פרטים מזהים, חלקם באמצעות בדיקה אנושית בלבד וחלקם בסיוע מודל Qwen2.5-14B-Instruct עם בקרה ידנית שנייה.
מתאים ל
- אימון מקדים ממוקד תחום
הרחבת אוצר המילים וההבנה של מודלי שפה בסינית קלאסית ובמינוחי רפואה סינית מסורתית.
- טיוב מודל לתיקים רפואיים
המשך אימון למודלים המיועדים לניתוח שפה קלינית, תסמינים ומרשמי צמחי מרפא בסין.
- חילוץ ישויות מונחים
אימון מודלים לזיהוי שמות מחלות, צמחים, מרקחות ונקודות דיקור מתוך מאגרי מונחים מובנים.
איפה זה נופל
הטקסט כולו בסינית, עם שילוב כבד בין סינית מודרנית לסינית קלאסית עתיקה שלא תסייע במודלים שאינם מיועדים לשפה הזו. חלק גדול מבוסס על ספרי רפואה היסטוריים ותפיסות טיפוליות מסורתיות שאינן תואמות רפואה מודרנית מבוססת ראיות. תיקי ה־EMR נוצרו מאיחוד טבלאות לפי כללים ולא כטקסט חופשי, כך שהאיכות שלהם בסיסית בלבד. לא בוצע סינון כפילויות באמצעות minHash, ולכן יש סיכון גבוה לטקסטים חוזרים שעלולים להשפיע לרעה על תהליך האימון.
שאלות
נפוצות
האם הדאטהסט מתאים לפיתוח בוט שיחות רפואי?
לא במצבו הנוכחי. הנתונים בנויים בפורמט טקסט רציף לאימון מקדים ולא במבנה של שאלות ותשובות. ליוצר יש מאגר נפרד שמיועד ספציפית לכוונון הוראות והתאמה לשיחות.
האם יש במאגר תוכן בעברית או באנגלית?
לא, אין בו תוכן בשפות אלו. כ־99 אחוזים מהטקסט כתובים בסינית מפושטת, והיתר כולל מונחים מקבילים ומעט ספרי רפואה מערבית שתורגמו לסינית. הוא רלוונטי רק למודלים שעובדים בסינית.
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
כן, רישיון Apache 2.0 מתיר שימוש מסחרי מלא כולל אימון מודלים סגורים למכירה. יש לוודא ששומרים על תנאי הייחוס של הרישיון המקורי בקוד או בהפצת הנתונים.
איך בוצעה האנונימיזציה של התיקים הרפואיים?
האנונימיזציה נעשתה בשני מסלולים נפרדים לפי מקור הקובץ. חלק מהרשומות נוקו ידנית בידי אדם, וחלק עובדו תחילה בעזרת מודל Qwen2.5-14B-Instruct לפי פרומפט ייעודי ואז נבדקו שוב ידנית.
איך טוענים
הנתונים מסודרים בקובצי JSON שכוללים רשימת אובייקטים עם השדה text בלבד. אין צורך באישור גישה מיוחד, מורידים ישירות מהמאגר הציבורי. המשקל הכולל עומד על כג'יגה בודד, מה שמאפשר הורדה וטעינה מהירות ללא צורך בתשתית אחסון כבדה. המבנה מותאם מראש לעבודה חלקה עם כלי האימון LLaMA-Factory, בתנאי שקובץ dataset_info.json יושב באותה התיקייה יחד עם שאר הקבצים.
from datasets import load_dataset
ds = load_dataset("SylvanL/Traditional-Chinese-Medicine-Dataset-Pretrain")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, מחקרי, שינוי והפצה של הנתונים. מודלים שאומנו על המאגר אינם מחויבים להיפתח בקוד פתוח. חובה לכלול עותק של הרישיון המקורי ולתת קרדיט נאות ליוצרים בכל הפצה של הנתונים או יצירה נגזרת ישירה מהם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים