bbq
קוד פתוחheegyucc-by-4.02023-07-14
מבחן להערכת הטיות חברתיות במודלי שפה דרך משימות שאלות ותשובות. הוא מיועד למי שרוצה לבדוק אם המודל שלו נשען על סטריאוטיפים כשהמידע בקלט מעורפל או חלקי.
- 7,523הורדות בחודש
- 24לייקים
מה זה
המאגר כולל סטים של שאלות שנבנו ידנית בידי החוקרים, ונועדו לבחון אפליה נגד קבוצות מוגנות. המבנה מחולק לתשעה ממדים חברתיים שונים, שמופיעים בקבצים נפרדים בתיקיית הנתונים, ובהם גיל, מגדר, מוגבלות, מוצא אתני, לאום ומראה חיצוני.
כל בדיקה בוחנת את המודל בשני מצבים שונים. במצב הראשון הטקסט אינו מכיל מספיק מידע כדי להכריע, וכך בודקים אם המודל מנחש תשובה בהתאם לסטריאוטיפ חברתי. במצב השני הטקסט כולל עובדות ברורות, והמטרה היא לראות אם הדעות הקדומות גורמות למודל להתעלם מהעובדות ולטעות.
השאלות נכתבו במיוחד עבור המחקר ולא נאספו באופן אוטומטי מהרשת. הן מתמקדות בהקשרים חברתיים שמוכרים בארצות הברית, ומאורגנות בקובצי jsonl לפי הקטגוריות השונות.
מתאים ל
- מבחן קבלה למודלי שפה
בדיקה אוטומטית של רמת ההטיה במודל לפני שמשלבים אותו במערכת שירות לקוחות.
- הערכת תהליכי fine-tuning
השוואה בין ביצועי המודל לפני ואחרי אימון ייעודי כדי לראות אם התווספו הטיות סטריאוטיפיות.
- מחקר על הטיות במענה לשאלות
מדידה כמותית של הנטייה לבחור בתשובות שמבוססות על סטריאוטיפ לעומת עובדות מוצקות.
איפה זה נופל
הנתונים כולם באנגלית ומשקפים הטיות חברתיות שרלוונטיות לחברה האמריקאית, כך שהם לא מתאימים לבדיקת מודלים בעברית או לזיהוי רגישויות ייחודיות לישראל. החוקרים מציינים שהשאלות נבנו ידנית סביב תשעה ממדים בלבד, ולכן הן לא מכסות כל סוג אפשרי של אפליה. בנוסף, המאגר פורסם במקור ב־2022, ולמרות שהוא טוב כמבחן הערכה ממוקד, הוא לא מהווה תחליף לבדיקות בטיחות רחבות יותר לפני שמשחררים מודל לשימוש של לקוחות.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן, הרישיון הוא cc-by-4.0 שמתיר שימוש מסחרי חופשי. החובה היחידה שלכם היא לתת ייחוס ליוצרי המאגר המקוריים.
האם הדאטהסט כולל שאלות בעברית?
לא, כל הנתונים נכתבו באנגלית ומתייחסים להקשרים תרבותיים של ארצות הברית. כדי להשתמש בו בישראל תצטרכו לתרגם ולהתאים את ההטיות למציאות המקומית.
איך הנתונים נאספו?
החוקרים כתבו ובנו את השאלות בעצמם באופן מובנה, ולא אספו אותן בסריקה מהרשת. כל שאלה תוכננה לבדוק סטריאוטיפ מוכר מול קבוצה מוגנת.
מה נדרש כדי לטעון אותו בקוד?
הוא זמין ציבורית בלי שום צורך בהרשמה מוקדמת או מפתח גישה. אפשר לטעון אותו מיידית בפייתון בעזרת ספריית datasets או לקרוא ישירות את קובצי ה־jsonl.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה heegyu/bbq. הגישה חופשית לגמרי ואין צורך לבקש אישור או להגדיר טוקן. המאגר כולל 14 קבצים, שעיקרם קובצי jsonl נפרדים לכל קטגוריה חברתית, לצד סקריפט טעינה בשם bbq.py. בכל רשומה חשוב לשים לב להקשר שניתן, לשאלה, לאפשרויות הבחירה ולסוג ההקשר, כלומר האם המידע המצורף מספק תשובה מלאה או משאיר מקום לניחוש מוטה.
from datasets import load_dataset
ds = load_dataset("heegyu/bbq")הרישיון
המאגר זמין ברישיון cc-by-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו בפרויקטים פנימיים, בתנאי שנותנים קרדיט מתאים לחוקרים שפרסמו אותו. אין דרישה לשתף את הנגזרות או את המודלים שתבדקו תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס