stereoset

מה זה

הנתונים מחולקים לשני סוגי משימות: intrasentence שבה בוחנים השלמת מילה בתוך משפט, ו־intersentence שבה בודקים התאמה של משפט עוקב. בכל רשומה יש הקשר, קבוצת יעד, סוג ההטיה ומספר אפשרויות בחירה. כל אפשרות מתויגת כסטריאוטיפ, אנטי-סטריאוטיפ או משפט שאינו קשור כלל.

המשפטים והתיוגים נוצרו על ידי עובדי מיקור חוץ מארצות הברית דרך Amazon Mechanical Turk. במשימת הפנים-משפט השתתפו 475 מתייגים, ובמשימת החוץ-משפט השתתפו 803. המפרסמים ציינו כי רק סט הוולידציה פתוח לציבור, כך שאין כאן פיצול אימון או מבחן סטנדרטי להורדה ישירה.

מתאים ל

• הערכת הטיות במודלי שפה

  מדידת הנטייה של מודל לבחור בסטריאוטיפים לעומת אפשרויות ניטרליות או הפוכות.

• מבחן יכולת שפה מול הוגנות

  בדיקה שהמודל מבדיל בין משפטים הגיוניים למשפטים לא קשורים תוך שמירה על ניטרליות.

• מחקר על תפיסות חברתיות

  ניתוח האופן שבו מודלים סופגים סטריאוטיפים אמריקאיים סביב מקצועות, דת, גזע ומגדר.

איפה זה נופל

ההטיות משקפות תפיסות חברתיות מארצות הברית בלבד, כי כל המתייגים גויסו משם ושמונים אחוז מהם מתחת לגיל חמישים. אין כאן מילה בעברית או התאמה להקשר תרבותי ישראלי. חלק מהמשפטים שנוצרו שגויים עובדתית, וחלק מהתוכן מכיל סטריאוטיפים בוטים ופוגעניים, כך שלא מדובר בחומר גלם שמתאים לאימון מודל ישירות למוצר.

איך טוענים

טוענים את המאגר ישירות בפורמט Parquet ללא צורך באישור גישה מוקדם. יש לשים לב למבנה המקונן של השדות, שכן sentences מכיל רשימות של אפשרויות עם תיוגים מרובים מהבודקים, כולל human_id ותיוג זהב gold_label. הכרטיס מציג גם תיוג חריג בשם related שאינו מוסבר במאמר המקורי ועלול לדרוש סינון ידני בזמן העיבוד.

from datasets import load_dataset

ds = load_dataset("McGill-NLP/stereoset")

הרישיון

הרישיון הוא CC-BY-SA 4.0. הוא מתיר שימוש מסחרי ומחקר, אך מחייב מתן קרדיט ושיתוף של כל נגזרת תחת אותו רישיון בדיוק. אם תאמנו מודל ישירות על הנתונים, תצטרכו לבדוק היטב אם המודל עצמו נחשב ליצירה נגזרת שמחייבת שחרור פתוח באותם תנאים.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗