MMedC
קוד פתוחHenrychurcc-by-nc-sa-4.02024-02-20
קורפוס רפואי רב לשוני של 25.5 מיליארד טוקנים בשמונה שפות. מי שבונה מודל שפה רפואי ומחפש חומר אימון מעבר לאנגלית, מקבל כאן גישה לטקסטים מסוננים, ספרי לימוד ואתרים ייעודיים.
- 270הורדות בחודש
- 36לייקים
מה זה
המאגר מכיל קובצי טקסט רגילים המחולקים לפי שפות וארבעה מקורות מידע עיקריים: תוכן מסונן מקורפוסים רחבים, ספרי לימוד רפואיים, אתרי רפואה ומאגרי מידע קטנים נוספים. החלוקה הפנימית שונה מאוד בין השפות. אנגלית וסינית כוללות נפח משמעותי של ספרי לימוד, בעוד שפות כמו ערבית, גרמנית ויפנית נשענות כמעט כולן על תוכן מסונן או אתרים.
סך הכל יש כאן שמונה שפות: אנגלית, ספרדית, צרפתית, רוסית, סינית, יפנית, ערבית וגרמנית. איסוף הנתונים וסינונם בוצעו באמצעות תהליך ייעודי שפיתחו החוקרים, הכולל סינון תכנים מותאם שנועד להשאיר רק טקסט בעל אופי רפואי מובהק. הנתונים עצמם שמורים בארכיונים מכווצים לפי שפות וסוגי מקורות.
מתאים ל
- אימון מקדים למודל רפואי
אימון רציף של מודלי שפה על טקסט רפואי רב לשוני כדי לשפר ביצועים באבחון והבנה קלינית.
- מחקר על פערי שפה ברפואה
בדיקת יכולת ההכללה של מודלים בין שפות שונות ברפואה תוך שימוש במקורות מידע מקבילים.
- בניית מסננים לטקסט רפואי
שימוש בקורפוס כמדד ייחוס לזיהוי ומיון תוכן רפואי מתוך מאגרי טקסט כלליים ברשת.
איפה זה נופל
הבעיה המרכזית היא זכויות יוצרים: ארבעה מיליארד טוקנים של ספרי לימוד באנגלית חסרים בקובצי המאגר, וכדי להשיג אותם צריך לפנות לפרויקט PMC-LLaMA בנפרד. בנוסף, עברית בכלל לא קיימת כאן, כך שאי אפשר להשתמש בו ישירות לפיתוחים מקומיים בארץ. יש גם פער עצום באיכות המקורות בין השפות, כאשר חלקן כוללות ספרי רפואה מקצועיים ואחרות מכילות רק טקסטים שסוננו מהרשת ללא בקרה מעמיקה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0, מה שאוסר במפורש כל שימוש מסחרי בנתונים. אם אתם מתכננים לאמן מודל לחברה מסחרית או למוצר רווחי, תצטרכו לחפש מקור אחר.
האם הדאטהסט כולל טקסטים רפואיים בעברית?
לא, עברית לא נכללת במאגר הזה. השפות הזמינות הן אנגלית, ספרדית, צרפתית, רוסית, סינית, יפנית, ערבית וגרמנית בלבד.
מדוע חסרים חלק מספרי הלימוד באנגלית?
החוקרים לא צירפו את ספרי הלימוד באנגלית בגלל בעיות של זכויות יוצרים. מדובר בנפח של ארבעה מיליארד טוקנים, ולמי שמעוניין בהם מומלץ לפנות למאגר PMC-LLaMA כפי שמצוין בתיעוד.
איך הנתונים מאורגנים בתוך הקבצים?
הטקסט שמור בקובצי txt פשוטים שנמצאים בתוך ארכיוני zip נפרדים לכל שפה. בתוך כל ארכיון יש חלוקה לארבע תיקיות לפי מקור המידע: תוכן מסונן, אתרי רפואה, ספרי לימוד ומאגרים קטנים.
איך טוענים
ההורדה ישירה לחלוטין ואין צורך לבקש אישור גישה מיוחד. המאגר מכיל עשרה קבצים, כולל קובצי זיפ לפי שפות כמו English.zip, Chinese.zip או Arabic.zip. בפנים תמצאו קובצי txt רגילים שמסודרים לפי תיקיות מקור. הטעינה בקוד נעשית פשוט על ידי סריקת התיקיות ואיסוף נתיבי הקבצים, תוך דילוג על תיקיות סינון שלא נדרשות, ולא באמצעות פקודת load_dataset רגילה של Hugging Face.
from datasets import load_dataset
ds = load_dataset("Henrychur/MMedC")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות פשוטה: מותר להשתמש בו למחקר ולמטרות לא מסחריות בלבד, תוך מתן קרדיט ליוצרים. שימוש מסחרי מכל סוג אסור, וכל נגזרת או מודל שמאמנים עליו חייבים להיות מופצים תחת אותו הרישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא