MentalBench

מה זה

המאגר כולל רשומות שמיועדות למשימות שאלות ותשובות בתחום בריאות הנפש, ומקושר לגרף ידע בשם MentalKG. המידע מחולק לארבעה סוגי שאלות לפי מקור הטקסט ורמת המורכבות שלו. החלק הראשון מכיל 1,725 מקרים פשוטים יחסית שמבוססים על תיקים רפואיים עם תשובה יחידה. החלק השני מציג 3,450 דיווחים עצמיים של מטופלים בדרגת קושי בינונית.

החלקים המורכבים יותר כוללים 6,525 שאלות מרובות תשובות שמבוססות על מקרים עמומים, ועוד 13,050 מקרים ברורים ברמת קושי גבוהה עם תשובה יחידה. הדאטהסט לא מפרט בכרטיס את אופן הסינון המדויק או אם מדובר בתיקים קליניים אמיתיים שעברו התממה, אבל כל המבנה נשען על קריטריונים פסיכיאטריים של ה־DSM.

מתאים ל

• בנצ'מרק למודלים רפואיים

  הערכת היכולת של מודלי שפה להסיק אבחנה מתוך תיאורי מקרה ותיקים רפואיים באנגלית.

• בדיקת עמידות במצבים עמומים

  בחינת ביצועי מודל במקרים פסיכיאטריים מורכבים שכוללים יותר מתשובה נכונה אחת.

• מחקר על שילוב גרפי ידע

  ניסויי הערכה ובדיקה של מודלים יחד עם גרף הידע הפסיכיאטרי MentalKG שמוזכר בפרויקט.

איפה זה נופל

הנתונים זמינים באנגלית בלבד, כך שהם לא יעזרו לבדיקת מודלים בעברית או בהקשר של מערכת הבריאות המקומית. מעבר לזה, הכרטיס לא מספק מידע על גיל הנתונים, ייצוג דמוגרפי או מנגנוני הבקרה ששימשו לאימות התשובות. מודל שיקבל כאן ציון גבוה עדיין רחוק מאוד משימוש קליני בעולם האמיתי, ואסור להסתמך עליו לצורך קבלת החלטות טיפוליות.

איך טוענים

טוענים את המידע ישירות מתוך קובץ ה־mentalbench.csv שנמצא במאגר, או דרך ספריית הדאטהסטים הרגילה של הפינג פייס באמצעות המזהה hysong/MentalBench. המאגר פתוח לגמרי להורדה ואין צורך לבקש אישור גישה מוקדם או להמתין לאישור חוקרים. המבנה מבוסס על משימת question-answering בפורמט טבלאי פשוט, כך שקל לחלץ את הטקסט, השאלה והתשובות ישירות לקוד ההערכה שלכם.

from datasets import load_dataset

ds = load_dataset("hysong/MentalBench")

הרישיון

המאגר מופץ ברישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי של הנתונים והפצה שלהם, כל עוד אתם נותנים קרדיט מתאים ליוצרים המקוריים ומציינים את השינויים שביצעתם. אין חובה לשתף את המודל המאומן או את הנגזרות תחת אותו רישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗