medicine-tasks

מה זה

המאגר מרכז קובצי מבחן מכמה מקורות בולטים בתחום הביו-רפואי. אפשר למצוא בו משימות מגוונות שכוללות את ChemProt לסיווג יחסים בין חומרים כימיים וחלבונים, RCT לסיווג משפטים בתקצירי ניסויים קליניים, שאלות מבחני הסמכה רפואיים כמו USMLE, וכן שאלות מתוך PubMedQA ו־MedQs.

הייחוד כאן הוא שהנתונים לא מגיעים בצורת שדות גולמיים של שאלה ותשובה. החוקרים יצקו את הדוגמאות מראש לתוך תבניות פרומפט מלאות עבור הערכות zero-shot ו־few-shot, כולל הוראות הקלט וההשלמות הצפויות מהמודל. המבנה מיועד בעיקר למודלי בסיס לפני שלב ה־alignment ולא מכיל שיחות מרובות שלבים.

מתאים ל

• מבחן השוואתי למודלי בסיס

  הרצת בדיקת יכולות רפואיות על מודלים לפני שלב ההוראות באמצעות פרומפטים מובנים.

• בדיקת הבנת מאמרים קליניים

  בחינת יכולת הסיווג והניתוח של מודל על משפטים מתוך מחקרים קליניים ומאגרי PubMed.

• שחזור תוצאות המאמר המקורי

  מדידת ביצועי מודל 7B מול התוצאות שפורסמו עבור AdaptLLM באמצעות קוד הבנצ'מרק של הפרויקט.

איפה זה נופל

כל הנתונים במאגר קיימים באנגלית בלבד ואין פה ייצוג לעברית או למינוח מקומי. הבעיה העיקרית היא שהתבניות הותאמו למודלי בסיס, ולכן הכרטיס מזהיר במפורש שהמאגר לא מתאים להרצה ישירה על מודלי שיחה כמו Llama-2-Chat או Llama-3-Instruct בלי התאמת פורמט. בנוסף, חסר כאן תיעוד על רישיונות המקור של כל משימה, ומכיוון שמדובר בפיצול מבחן בלבד, אי אפשר לאמן עליו מודל שלם אלא רק להעריך ביצועים.

איך טוענים

טוענים את הקבצים ישירות דרך ספריית datasets או מורידים את קובצי ה־JSON מתיקיות המאגר, למשל ChemProt/test.json או usmle/test.json. המאגר קל משקל וכולל בסך הכל שמונה קבצים, ללא צורך בבקשת אישור גישה מראש. חשוב לשים לב שהטקסטים מוכנים כבר עם הפרומפטים ששימשו במאמר, כך שאם אתם בוחנים מודל שתלוי בפורמט צ'אט קשיח, תצטרכו לעבד את הנתונים מחדש או לפנות לדאטהסטים הגולמיים שהחוקרים פרסמו בנפרד.

from datasets import load_dataset

ds = load_dataset("AdaptLLM/medicine-tasks")

הרישיון

המאגר פורסם ללא הצהרת רישיון כלל. מעבר לכך, הוא מרכז נתונים מכמה מקורות שונים כמו USMLE ו־PubMedQA, שלכל אחד מהם עשויים להיות תנאי שימוש משלו שלא מפורטים בדף. במצב כזה לא מומלץ להשתמש בנתונים במוצרים מסחריים בלי בדיקה עצמאית של תנאי המקור, אך לצורכי מחקר והערכה פנימית הוא שמיש.

הרישיון המלא ב־Hugging Face ↗