CBT-Bench

מה זה

המאגר מחולק לשלוש רמות קושי שמיועדות לבחון שלבים שונים בהבנה טיפולית. הרמה הראשונה כוללת 220 שאלות רב ברירה על מושגים, ידע מעשי ומקרי בוחן. מחברי המאגר לא חושפים את התשובות לקובץ הבדיקה ישירות כי מדובר בשאלות ממבחנים אמיתיים, ומפנים לכלי ייעודי לחישוב הדיוק.

הרמה השנייה מתמקדת בהבנת המודל הקוגניטיבי דרך משימות סיווג. היא כוללת 146 דוגמאות של עיוותי חשיבה שממוינים לעשר קטגוריות, 184 דוגמאות של אמונות ליבה עיקריות שמסווגות לשלוש קטגוריות, ועוד 112 דוגמאות של אמונות ליבה ברזולוציה גבוהה שמחולקות ל־19 קטגוריות. לכל משימה מצורף קובץ דוגמאות נפרד שמיועד לאימון או ללמידה מתוך הקשר.

הרמה השלישית בודקת יצירת תגובות טיפוליות ומכילה 156 תרגילים שמכסים עשרה היבטים של מפגשי טיפול ברמות קושי עולות. התיקייה הייעודית לרמה זו מחזיקה תשובות אנושיות לצד פלטים שנוצרו על ידי מודלים, כולל קובץ להשוואה ישירה ביניהם.

מתאים ל

• הערכת ידע תיאורטי בטיפול

  בדיקת הדיוק של מודל שפה במענה על 220 שאלות מבחן מקצועיות בגישת CBT.

• זיהוי עיוותי חשיבה בטקסט

  בחינת היכולת לסווג התבטאויות של מטופלים לעשר קטגוריות שונות של עיוותים קוגניטיביים.

• השוואת תגובות טיפוליות

  מדידת איכות הניסוח הטיפולי של המודל ביחס לתשובות ייחוס אנושיות שנכתבו לתרגילים.

איפה זה נופל

זהו סט נתונים קטן מאוד, פחות מאלף רשומות בסך הכל, שנועד להערכה ולא לאימון רחב. כל החומרים כתובים באנגלית בלבד ואין בו שום ייצוג לעברית או לניואנסים תרבותיים מקומיים. מעבר לכך, התשובות לשאלות הידע ברמה הראשונה מוסתרות, כך שאי אפשר לבצע בדיקה מקומית ועצמאית של נכונות התשובות בקוד שלכם בלי להסתמך על הכלי החיצוני שהעלו החוקרים.

איך טוענים

המאגר מכיל 41 קבצים בפורמט JSON, ללא צורך באישור גישה מיוחד. אפשר להוריד את הקבצים ישירות או לטעון אותם בסקריפט. קובצי ה־JSON מחולקים לפי רמות ומשימות, כמו שאלות מבחן, סיווגים ותרגילי שיחה מול פלטים של מודלים. שימו לב שבשאלות הידע ברמה הראשונה אין מפתחות תשובה בתוך הקובץ, וצריך להריץ את ההערכה מול הכלי שהמפתחים העלו למרחב העבודה שלהם כדי לחשב ציונים.

from datasets import load_dataset

ds = load_dataset("Psychotherapy-LLM/CBT-Bench")

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה: השימוש מותר למטרות מחקר ולא למטרות מסחריות, תוך מתן קרדיט ליוצרים. אסור להשתמש בנתונים האלה כדי לבנות או לאמן מודל שמיועד למוצר מסחרי או לשירות בתשלום.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗