Metacognition-Bench
קוד פתוחginigen-aiapache-2.02026-06-29
המאגר כולל 300 שאלות מלכודת שנועדו לבדוק אם מודל מזהה טעויות של עצמו ומתקן אותן. הוא מתאים למי שרוצה למדוד מטא-קוגניציה וביטחון עצמי שגוי ולא רק דיוק סופי.
- 47הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל 300 שאלות מנוסחות באנגלית שמכסות 121 תחומים שונים, כולל מתמטיקה, משפטים, רפואה, כלכלה ומדעי המחשב. כל רשומה כוללת תשעה שדות, בהם מזהה ייחודי, תחום, רמת קושי, הטקסט של השאלה, ההתנהגות המצופה שמפרטת איפה האינטואיציה נוטה להכשיל, והמלכודת המפתה שעלולה להטעות את המודל.
השאלות מחולקות לשמונה סוגי התנהגות מטא-קוגניטיבית, כמו תיקון עצמי, בריחה ממלכודת, זיהוי נקודות מפנה וקבלת החלטות בתנאי אי-ודאות. הן מדורגות לפי שלוש רמות: ליבה, מומחה וחזית הטכנולוגיה.
לפי כרטיס המאגר, הנתונים נוצרו בעזרת בינה מלאכותית תחת דרישות מחמירות למלכודות שאינן תלויות במודל ספציפי ולתשובות שניתן לבדוק אוטומטית. לאחר מכן הם עברו סינון איכות באמצעות מודל שופט שבדק את תוקף המלכודות, הניטרליות ויכולת הבדיקה.
מתאים ל
- הערכת עמידות למלכודות
בדיקת הנטייה של מודל שפה ליפול להטיות קוגניטיביות נפוצות מול שאלות אמריקאיות.
- בדיקת יכולת תיקון עצמי
מדידת יכולת המודל לזהות סתירות ולתקן את מסלול ההסקה שלו בזמן יצירת טקסט חופשי.
- השוואת מודלים למתאמים
כימות התועלת של רכיבי מטא-קוגניציה חיצוניים בשיפור זיהוי שגיאות פנימיות במודל.
איפה זה נופל
המאגר קטן מאוד ומכיל 300 דוגמאות בלבד, כך שהוא מתאים כמבחן בדיקה ממוקד ולא כבסיס לאימון רחב. כל הנתונים נוצרו וסוננו באמצעות מודלי שפה אחרים ולא על ידי מומחים אנושיים, מה שעלול להכניס הטיות של המודלים שיצרו אותם. בנוסף, כל הטקסטים כתובים באנגלית בלבד. אם המוצר שלכם פועל בעברית, המאגר לא ייתן לכם אינדיקציה ישירה לגבי ביצועי המודל בשפה הזו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי מלא. צריך רק לשמור על תנאי הייחוס והודעת הרישיון.
האם המאגר כולל דוגמאות בעברית?
לא, כל 300 השאלות כתובות באנגלית בלבד. כדי להשתמש בו עבור מודלים בעברית תצטרכו לתרגם את המלכודות בעצמכם ולבדוק שהמשמעות הלוגית לא נפגעה.
איך נאספו השאלות במאגר?
השאלות נוצרו בעזרת בינה מלאכותית ולא נאספו ידנית. לאחר היצירה, מודל שפה שימש כשופט איכות כדי לסנן ולבדוק שהמלכודות תקפות וניתנות לבדיקה אוטומטית.
במה הוא שונה ממאגרי שאלות ותשובות רגילים?
הוא לא בודק רק אם התשובה הסופית נכונה, אלא מכיל מלכודת מכוונת שגורמת למודלים לטעות בביטחון. המטרה היא לבדוק אם המודל מזהה את הנתיב השגוי ומסוגל לתקן את עצמו.
איך טוענים
המאגר שוקל מעט מאוד וכולל קובץ metacog_bench.jsonl לצד קובץ הגדרות eval.yaml. אין צורך באישור גישה או בהמתנה, פשוט מורידים וקוראים את קובץ ה־JSONL ישירות. השדות המרכזיים להרצה הם prompt שמכיל את השאלה, expected_behavior שמציג את מסלול ההיגיון הנכון, ו־hidden_trap שמתאר את נתיב ההסקה השגוי שהמודל אמור לזהות ולהימנע ממנו.
from datasets import load_dataset
ds = load_dataset("ginigen-ai/Metacognition-Bench")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש חופשי לצרכים מסחריים ומחקריים, שינוי של הנתונים והפצה שלהם, בכפוף למתן קרדיט ושמירה על הודעת הרישיון המקורית. שימוש במאגר להערכה או לאימון של מודל אינו מחייב אתכם לחשוף את הקוד שלכם או לשחרר את המודל תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים