medical-o1-verifiable-problem

מה זה

המאגר מכיל שאלות פתוחות בתחום הרפואה שלצדן מופיעה תשובת אמת ברורה. לפי המפתחים, הנתונים נלקחו מתוך בחינות רפואיות מאתגרות, מתוך כוונה לספק שאלות שדורשות היסק מורכב אבל עדיין מאפשרות בדיקה ואימות של תשובת המודל מול עובדה ברורה. הרעיון המרכזי בעבודה הזו, שמקושרת למחקר על HuatuoGPT-o1, הוא לחזק יכולות חשיבה רפואיות עמוקות.

בכרטיס המקורי אין פירוט מעבר לכך לגבי שלבי הסינון, החלוקה הפנימית למחלקות או שיטות העיבוד שנעשו על הבחינות. המידע הטכני היבש מצומצם מאוד וכולל בעיקר הפניה למאמר המלא ולמאגר הקוד הנלווה, כך שמי שרוצה להבין אילו מבחנים ספציפיים בפנים יצטרך לקרוא את המאמר עצמו.

מתאים ל

• אימון מודלי חשיבה רפואיים

  כוונון עדין של מודלים ליצירת שרשראות היסק רפואיות עם תשובה סופית שניתנת לאימות.

• הערכת ביצועים אוטומטית

  בנצ'מרק למודלי שפה על שאלות מבחן קשות מול תשובות אמת מוגדרות מראש.

• אימון מבוסס תגמול ואימות

  בניית תהליכי RL שבהם המודל מקבל פידבק ישיר אם הגיע לתשובת האמת הרפואית הנכונה.

איפה זה נופל

הנתונים כולם באנגלית בלבד, בלי שום התאמה לשפות אחרות או למינוח הרפואי בעברית. בנוסף, מדובר בשאלות מבחן, כך שהן בודקות ידע תיאורטי מובנה ולא משקפות בהכרח שיח קליני אמיתי, תיעוד רפואי חי או מקרים מורכבים מהשטח. הכרטיס לא מפרט אילו הטיות קיימות בבחינות המקוריות, ולפני שלוקחים את זה למוצר מול משתמשים חייבים לבדוק עצמאית את דיוק התשובות והרלוונטיות שלהן להנחיות טיפול מקומיות.

איך טוענים

הקובץ המרכזי יושב בפורמט JSON בשם medical_o1_verifiable_problem.json, לצד קובץ README ומטא-דאטה. אין צורך בבקשת גישה מיוחדת או באישור חוקרים, אפשר למשוך אותו ישירות דרך ספריית datasets הרגילה של Hugging Face. הוא מיועד למשימות של מענה על שאלות ויצירת טקסט, כאשר השדות החשובים לשימוש הם השאלה הפתוחה ותשובת האימות שמוגדרת מולה כעוגן.

from datasets import load_dataset

ds = load_dataset("FreedomIntelligence/medical-o1-verifiable-problem")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של המידע והפצה מחדש, ואינו מחייב אתכם לפתוח את הקוד שלכם או לשחרר נגזרות באותו הרישיון. תנאי הבסיס דורשים בעיקר מתן ייחוס למחברים, צירוף עותק מהרישיון וציון אם בוצעו שינויים בקבצים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗