medical_meadow_medical_flashcards
קוד פתוחmedalpacacc2023-04-06
כרטיסיות זיכרון של סטודנטים לרפואה שעברו עיבוד לפורמט של שאלות ותשובות קצרות. מתאים למי שרוצה לאמן מודל על ידע רפואי עובדתי וממוקד בלי לחפור בטקסטים ארוכים.
- 7,136הורדות בחודש
- 49לייקים
מה זה
הנתונים מבוססים במקור על כרטיסיות Anki שנכתבו ומתוחזקות בידי סטודנטים לרפואה ומכסות את תוכנית הלימודים, מנושאים בסיסיים כמו אנטומיה ופיזיולוגיה ועד פתולוגיה ופרמקולוגיה. בדרך כלל כרטיסיות כאלה מכילות סיכומים קצרים, מונחי מפתח ורמזי זיכרון שמיועדים לשינון מהיר של עובדות.
כדי להפוך את החומר למאגר אימון, הסירו קודם כל כרטיסיות שהכילו תמונות. את הטקסט שנשאר העבירו דרך המודל GPT-3.5-turbo של OpenAI, שניסח את הכרטיסיות מחדש בתור זוגות קוהרנטיים של שאלות ותשובות. התוצאה היא שאלות ותשובות קצרות וממוקדות מאוד, שמשקפות את המבנה המקורי של כרטיסיות שינון ולא דיאלוגים מורכבים.
מתאים ל
- אימון הוראות רפואי
כוונון עדין למודלי שפה על שאלות ותשובות קצרות ברפואה בסיסית וקלינית.
- בדיקת ידע עובדתי
הערכת היכולת של מודל לשלוף הגדרות, מונחים פרמקולוגיים ורמזי שינון.
- בוט שינון לסטודנטים
בניית כלי תרגול מבוסס שיחה על חומרי לימוד של מבחני רפואה באנגלית.
איפה זה נופל
החומר כולו באנגלית בלבד ואין כאן מילה בעברית. השאלות והתשובות קצרות מאוד מטבען, כך שהן לא מתאימות לאימון על הסברים קליניים ארוכים או חשיבה אבחנתית מורכבת. מעבר לזה, סינון הכרטיסיות הוציא החוצה כל כרטיס שכלל תמונה, מה שאומר שנושאים שנשענים על דימות, תרשימים או ממצאים חזותיים פשוט חסרים כאן. הניסוח מחדש בוצע על ידי מודל שפה, ולכן צריך לבדוק היטב שאין הזיות בניסוחים לפני שמסתמכים על המידע.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המדווח הוא cc כללי בלבד, בלי פירוט של תנאי המשנה. בנוסף, הנתונים נוסחו מחדש באמצעות GPT-3.5-turbo, מה שעלול להגביל שימוש מסחרי לפי תנאי השימוש של OpenAI. במצב הזה לא כדאי להסתמך עליו במוצר מסחרי בלי בירור נוסף.
האם המאגר כולל תוכן בעברית?
לא. המאגר מוגדר באנגלית בלבד. אם אתם מחפשים לאמן מודל רפואי שמיועד לקהל ישראלי או למערכת הבריאות המקומית, תצטרכו לתרגם את החומר או להביא נתונים ממקור אחר.
איך אספו ויצרו את השאלות והתשובות?
לקחו כרטיסיות Anki של סטודנטים לרפואה ומחקו את כל מי שהכילה תמונה. לאחר מכן השתמשו ב־GPT-3.5-turbo כדי לנסח את המידע מחדש כזוגות של שאלה ותשובה.
במה הוא שונה מדאטהסטים רפואיים של שאלות ותשובות?
רוב המאגרים מגיעים מפורומים, תיקים רפואיים או שאלות ממבחני הסמכה עם הסברים ארוכים. כאן מדובר בסיכומי שינון קצרים וממוקדים מאוד שנועדו לזכירת עובדות מהירה.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה medalpaca/medical_meadow_medical_flashcards. אין כאן תהליך אישור גישה מול המפתחים והגישה פתוחה מיד.
המאגר עצמו קטן, כולל שלושה קבצים בלבד ובתוכם קובץ json בשם medical_meadow_wikidoc_medical_flashcards.json לצד התיעוד. החומר כולו מגיע במבנה של שאלות ותשובות, כך שלא תצטרכו לבצע עיבוד מקדים מורכב לפני הזנה למודל.
from datasets import load_dataset
ds = load_dataset("medalpaca/medical_meadow_medical_flashcards")הרישיון
המאגר מוגדר תחת רישיון כללי של Creative Commons בלי ציון הגרסה המדויקת, כמו למשל האם מדובר בשימוש לא מסחרי או האם נדרש שיתוף זהה. במצב כזה, שימוש מסחרי במודל שמאומן על הנתונים עלול להיות מסוכן משפטית, ומומלץ להתייחס אליו כרגע כחומר למחקר ולניסויים בלבד.