truthful_qa
קוד פתוחtruthfulqaapache-2.02022-06-08
המאגר מרכז 817 שאלות שנועדו לבדוק אם מודל שפה חוזר על תפיסות שגויות של בני אדם. הוא מיועד להערכת נטיית המודל לייצר מידע כוזב בתחומים כמו בריאות, חוק, כספים ופוליטיקה.
- 203,993הורדות בחודש
- 291לייקים
מה זה
המאגר כולל 817 שאלות שמחולקות ל־38 קטגוריות שונות, בהן בריאות, חוק, פוליטיקה וכספים. כל שאלה נוסחה כדי לפתות את המודל לתת תשובה שגויה שמבוססת על מיתוסים או אמונות אנושיות לא נכונות, במקום תשובה עובדתית אמיתית. יוצרי המאגר, החוקרים סטפני לין, ג'ייקוב הילטון ואויין אוונס, חיברו את השאלות בעצמם.
איסוף הנתונים כלל שני שלבים עיקריים מול מודל המטרה GPT-3 בנפח 175B פרמטרים. בשלב הראשון נכתבו שאלות שנבדקו מול המודל, ורוב השאלות שהוא הצליח לענות עליהן נכון סוננו החוצה, מה שהשאיר 437 שאלות מסוננות. בשלב השני נכתבו 380 שאלות נוספות ללא בדיקה ישירה מול המודל, על סמך הניסיון שנצבר בשלב הראשון לגבי נקודות התורפה של המודלים.
התוכן מאורגן בשתי תצורות שונות שמכילות את אותן השאלות בדיוק. תצורת יצירת הטקסט כוללת את סוג השאלה, הקטגוריה, קישור למקור המידע, התשובה הטובה ביותר, ורשימות של תשובות נכונות ולא נכונות. תצורת הבחירה המרובה מחלקת את השאלות לשני יעדים, באחד יש רק תשובה נכונה אחת מתוך ארבע עד חמש אפשרויות, ובשני יש לפחות ארבע אפשרויות עם אופציה למספר תשובות נכונות במקביל.
מתאים ל
- מדידת אמיתות במענה פתוח
השוואת התשובות שהמודל מייצר מול רשימות התשובות הנכונות והשגויות בתצורת generation כדי לבדוק נטייה להזיות.
- הערכת בחירה מרובה בסיסית
בדיקת הדיוק של מודל שפה בזיהוי התשובה העובדתית היחידה מתוך 4 עד 5 אפשרויות בעזרת הפיצול mc1_targets.
- הערכת ריבוי תשובות נכונות
בחינת יכולת המודל לסמן את כל הטענות הנכונות מתוך מגוון אפשרויות נתון תחת המבנה של mc2_targets.
איפה זה נופל
המאגר כולו באנגלית בלבד ואין בו שום תמיכה בשפות אחרות או התאמה להקשר ישראלי. מדובר במאגר זעיר של 817 שאלות שמיועד אך ורק להערכה ולא לאימון רחב. השאלות נבנו בכוונה כדי להכשיל מודל מסוים, GPT-3, ולכן הן משקפות את נקודות התורפה שלו מאותה תקופה ולא בהכרח מייצגות כשלים של ארכיטקטורות מודרניות. הכרטיס לא מספק מידע על הטיות חברתיות נוספות, פרטיות או תהליכי תיוג מעבר לעבודת המחברים עצמם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
כן, הרישיון המוגדר הוא apache-2.0, שמאפשר שימוש מסחרי חופשי. יש להקפיד על מתן קרדיט ליוצרים ולכלול את תנאי הרישיון המקוריים בהפצה.
האם המאגר כולל שאלות בעברית?
לא, כל השאלות והתשובות במאגר מנוסחות באנגלית בלבד. אם המודל שלכם מיועד לשוק המקומי, תצטרכו לתרגם את השאלות או לבנות מבחן ייעודי.
כמה שוקל המאגר ומה היקפו?
מדובר במאגר זעיר המכיל 817 שאלות בלבד, ששמורות בארבעה קבצים בסך הכל. הוא אינו מיועד לאימון של מודל שפה מאפס אלא משמש כמבחן הערכה ממוקד.
איך נאספו השאלות האלו?
מחברי המחקר כתבו את השאלות בעצמם סביב מיתוסים ותפיסות שגויות. 437 מתוכן עברו סינון ישיר מול מודל GPT-3 כדי לוודא שהוא אכן טועה בהן, ו־380 נוספות נכתבו ללא סינון מקדים.
איך טוענים
המאגר זמין להורדה ישירה ללא צורך באישור גישה מיוחד, והוא כולל ארבעה קבצים בלבד ששמורים בפורמט parquet. כל הנתונים נמצאים תחת חלוקת validation בלבד, כך שאין כאן פיצול לאימון או בדיקה. בעת הטעינה אתם בוחרים בין שתי התצורות הקיימות, generation או multiple_choice. בתצורת היצירה השדות המרכזיים הם question, best_answer ורשימות התשובות correct_answers ו־incorrect_answers, ואילו בבחירה המרובה העבודה נעשית מול mc1_targets שבו יש תווית נכונה יחידה ומול mc2_targets שכולל כמה תוויות חיוביות.
from datasets import load_dataset
ds = load_dataset("truthfulqa/truthful_qa")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי שניתן ייחוס הולם ליוצרים המקוריים ונשמר נוסח הרישיון. שימוש בנתונים לצורך בדיקה, אימות או הערכה של מודל אינו מחייב אתכם לשחרר את קוד המודל או את תוצריו תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים