BioInstructQA

מה זה

הנתונים מורכבים ממספר מקורות קיימים בעולם הרפואי שחוברו יחד למשימת שאלות ותשובות. המאגר כולל מקורות מתוך MMLU כמו Clinical KG, Medical Genetics, Anatomy, Professional Medicine, College Biology ו־College Medicine, לצד המאגרים MedQA, PubMedQA ו־MedMCQA.

המבנה של הרשומות משתנה בהתאם למקור המקורי. בחלק מהמקרים מדובר בשאלות אמריקאיות עם ארבע או חמש אפשרויות בחירה, ובחלק אחר, כמו ב־PubMedQA, התשובה היא כן, לא או אולי. רק במקור של PubMedQA יש קונטקסט נלווה לשאלה, בעוד שאר המקורות כוללים רק את השאלה ואת אפשרויות התשובה.

חלוקת הנתונים לא אחידה בין החלקים. כל תתי-המאגרים שנלקחו מ־MMLU מכילים רק סטים של בדיקה (Test) ללא נתוני אימון, בעוד שהאימון עצמו נשען בעיקר על MedQA עם מעל עשרת אלפים דוגמאות אימון, PubMedQA עם מעל מאתיים אלף, ו־MedMCQA עם מעל מאה וארבעים אלף.

מתאים ל

• אימון הוראות רפואי

  כוונון עדין של מודלי שפה לענות על שאלות ידע רפואי רב-ברירה באנגלית ובשפות זרות נוספות.

• הערכת ביצועים רפואיים

  בדיקת הדיוק של מודלים קיימים מול מבחני MMLU רפואיים ומבחני MedQA ו־MedMCQA.

• סיווג שאלות מחקר

  אימון מודל לענות על שאלות מבוססות תקצירי מאמרים עם תשובות כן, לא או אולי מתוך PubMed.

איפה זה נופל

עברית לא קיימת כאן בכלל. השפות הנתמכות הן אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, סינית ורוסית. אם אתם מכוונים לשוק המקומי בישראל, תצטרכו לתרגם את החומר או לאסוף דאטה בעצמכם.

בנוסף, חוסר האיזון בין המקורות קיצוני. רוב נתוני האימון מגיעים משלושה מקורות בלבד, בעוד נושאי ה־MMLU מיועדים למבחן בלבד. מלבד PubMedQA, אין בכלל טקסט מקדים או הקשר לשאלות, מה שלא מתאים למי שרוצה לאמן מערכות שמחלצות מידע מתוך מסמך רפואי מלא.

איך טוענים

טוענים את הנתונים ישירות דרך הספרייה של Hugging Face באמצעות הסקריפט BioInstructQA.py שנמצא במאגר, או על ידי הורדת data.zip. הגישה חופשית ואין צורך בהרשאה מיוחדת כדי להתחיל לעבוד.

שימו לב שהשדות כוללים שאלות, אפשרויות מענה ותשובות נכונות, כאשר אורך השאלות משתנה מאוד בין המקורות, מ־11 מילים בממוצע בחלקים מסוימים ועד מעל 118 מילים במקורות כמו MedQA.

from datasets import load_dataset

ds = load_dataset("BioMistral/BioInstructQA")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר את המודל המאומן או את הקוד שלכם תחת אותו רישיון. החובה העיקרית היא מתן קרדיט ושמירה על הודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗