Llama2-MedTuned-Instructions
קוד פתוחnlpiecc-by-nc-4.02023-12-31
אוסף הוראות רפואי שמיועד לאימון מודלי שפה על משימות קליניות וביורפואיות מוגדרות. החומר מרכז מקורות אקדמיים מוכרים למבנה אחיד של הנחיה, קלט ופלט.
- 302הורדות בחודש
- 42לייקים
מה זה
המאגר כולל כמאתיים אלף דוגמאות שנועדו להוראה מונחית משימה. הרשומות בנויות במבנה קבוע של שלושה שדות: הוראה, קלט ופלט. המבנה הזה נועד לכוון את המודל לביצוע פעולות ספציפיות בעיבוד שפה רפואי, במקום ייצור טקסט חופשי ללא מסגרת.
התוכן עצמו לא נאסף מאפס אלא מהווה איחוד של תת-קבוצות מתוך מאגרים קיימים ומוכרים בתחום הביורפואי. לזיהוי ישויות נלקחו דוגמאות ממאגרים כמו NCBI-disease, BC5CDR, BC2GM, JNLPBA ו־i2b2-2012. לחילוץ קשרים נעשה שימוש ב־i2b2-2010, להסקת מסקנות שימש MedNLI, לסיווג מסמכים נלקח HoC, ולמענה על שאלות שולבו דוגמאות מתוך ChatDoctor ו־PMC-Llama-Instructions. המאגר מחולק לקובצי אימון וולידציה.
מתאים ל
- אימון מודל לחילוץ ישויות
זיהוי שמות של מחלות, תרופות וגנים מתוך טקסטים קליניים ומאמרים מדעיים באנגלית.
- מענה על שאלות רפואיות
כוונון עדין למודל שפה כדי שידע לענות על שאלות בריאותיות בהתבסס על ChatDoctor ו־PMC.
- הסקה ומיווג מסמכים
בדיקת התאמה בין טענות רפואיות וסיווג מאמרים ביולוגיים לפי קטגוריות מחקר קבועות מראש.
איפה זה נופל
כל המקורות המרכיבים את המאגר הם באנגלית בלבד. אם המטרה שלכם היא מודל רפואי בעברית, המאגר הזה לא ייתן מענה ישיר ללא תרגום או התאמה. הנתונים מתבססים על מחקרים ומאגרים קליניים קיימים, חלקם ותיקים, ולכן הם כוללים את ההטיות המובנות של אותם מקורות מקוריים. בנוסף, חלקי המענה על שאלות נשענים על מקורות כמו ChatDoctor, שאינם בהכרח מתאימים לייעוץ קליני בפועל בעולם האמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון המוגדר הוא CC-BY-NC-4.0, והוא אוסר במפורש שימוש מסחרי. המאגר מיועד אך ורק למחקר, ניסויים פנימיים או סביבות אקדמיות.
האם יש במאגר טקסטים בעברית?
לא, כל הדוגמאות מבוססות על מאגרי מקור ביורפואיים באנגלית. אם אתם בונים כלי למערכת הבריאות בישראל, תצטרכו לתרגם את הנתונים או להשתמש בבסיס נתונים אחר לחלוטין.
איך נאסף המידע?
היוצרים איחדו סטים של אימון מתוך מגוון מאגרים רפואיים קיימים, כמו i2b2, MedNLI ו־ChatDoctor. הם ארגנו את הנתונים מחדש בתבנית אחידה של הוראה, קלט ופלט שמתאימה ישירות לאימון מודלי הוראות.
איך טוענים
הנתונים יושבים בשני קובצי Parquet, אחד לאימון ואחד לוולידציה, ללא צורך באישור גישה מיוחד או תהליך הרשמה. אפשר למשוך אותם ישירות באמצעות ספריית המאגרים של Hugging Face. כל שורה מכילה את השדות Instruction, Input ו־Output, כך שאין צורך בעיבוד מקדים מורכב של הטקסט לפני שמזינים אותו לצינור האימון.
from datasets import load_dataset
ds = load_dataset("nlpie/Llama2-MedTuned-Instructions")הרישיון
הרישיון הוא CC-BY-NC-4.0. המשמעות ברורה וחד-משמעית: שימוש מחקרי ולא-מסחרי בלבד, עם חובת מתן קרדיט למחברים המקוריים. אי אפשר לשלב את המאגר או מודל שאומן ישירות עליו במוצר מסחרי, בשירות בתשלום או בפעילות עסקית מניבה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא