social_bias_frames

מה זה

המאגר כולל פוסטים שנאספו בין השנים 2014 ל־2019 ממספר מקורות ברשת, ובהם טוויטר, תת-פורומים ברדיט כמו בדיחות פוגעניות או מיקרו-אגרסיות, ואתרים קיצוניים כמו גאב, סטורמפרונט ופורומים של אינסלים. החוקרים סיננו את הטקסטים כדי שיהיו עצמאיים וללא צורך בהקשר רחב. בטוויטר הוסרו תגובות, ציוצים מחדש וקישורים, וברדיט ובאתרים האחרים נשמרו רק פוסטים של משפט אחד באורך 10 עד 80 מילים.

כל רשומה מייצגת פוסט שעבר תיוג על ידי שלושה עובדי אמזון מכניקל טורק מארצות הברית ומקנדה. לצד הטקסט והמקור שלו, הרשומה מכילה ציונים לשאלות האם הייתה כוונה לפגוע, האם מדובר בתוכן מיני, האם הפגיעה מכוונת לקבוצה או לאדם בודד, ומהן קבוצות המיעוט והסטריאוטיפים הספציפיים שהטקסט רומז עליהם. החוקרים הוסיפו לכל רשומה גם את המאפיינים הדמוגרפיים של המתייג, כולל גיל, מגדר, גזע ונטייה פוליטית.

החלוקה הפנימית מפרידה את הפוסטים כך שאף פוסט לא מופיע ביותר מפיצול אחד. ערכת האימון כוללת 112,900 רשומות המהוות 75 אחוזים מהמידע, בעוד שערכת האימות מכילה 16,738 רשומות וערכת הבחינה מכילה 17,501 רשומות, 12.5 אחוזים לכל אחת.

מתאים ל

• זיהוי כוונת פגיעה בטקסט

  אימון מודל סיווג שקובע אם פוסט נכתב בכוונה לפגוע, אם הוא פוגעני בעקיפין או אם מדובר באמירה תמימה.

• חילוץ סטריאוטיפים סמויים

  אימון מודל שפה שמקבל טקסט ומייצר תיאור מילולי מפורש של הסטריאוטיפ או ההשלכה החברתית שמשתמעת ממנו.

• זיהוי אוכלוסיות יעד לפגיעה

  סיווג אוטומטי של קבוצות מיעוט או דמוגרפיות ספציפיות שמופנית כלפיהן רמיזה פוגענית ברשת.

• הערכת עיוורון תרבותי במודלים

  בדיקה של מודלים קיימים מול קבוצת המבחן כדי לראות אם הם מזהים מיקרו-אגרסיות ורמיזות שנשענות על סלנג.

איפה זה נופל

הנתונים כולם באנגלית ומבוססים ב־78 אחוזים על ניב המזוהה עם דוברי אנגלית לבנים בארצות הברית. אין כאן שום ייצוג לעברית או להקשרים תרבותיים מקומיים, ופחות מעשרה אחוזים מהפוסטים זוהו כמשתייכים לאנגלית אפרו-אמריקאית. מתייגי המידע היו ברובם המוחלט לבנים, כ־82 אחוזים, עם 4 אחוזים בלבד לכל אחת מקבוצות השחורים, ההיספנים והאסייתים.

ההסכמה בין המתייגים עומדת על מדד קריפנדורף של 0.45, שזה נתון בינוני שמעיד על חוסר אחידות מובנה בהגדרת פגיעה. מי שיאמן על זה מסנני תוכן אוטומטיים עלול לייצר מודל שנוטה לצנזורת יתר או להטיה גזעית מבוססת ניב, בייחוד כלפי אוכלוסיות שלא יוצגו בקרב המתייגים.

איך טוענים

הטעינה מתבצעת ישירות דרך הספרייה הרגילה של האגינג פייס בעזרת המזהה של המאגר. אין צורך באישור גישה מוקדם או בטופס הרשמה, והנתונים זמינים להורדה חופשית. קבצי המקור תופסים כ־6.32 מגה בייט, ועל הדיסק לאחר פריסה הדאטהסט תופס בסביבות 45 מגה בייט. השדות המרכזיים שתרצו למשוך הם הטקסט הגולמי בשדה post, יחד עם תגיות המטרה כמו targetMinority ו־targetStereotype למשימות יצירת טקסט, או offensiveYN ו־intentYN לסיווג.

from datasets import load_dataset

ds = load_dataset("allenai/social_bias_frames")

הרישיון

המאגר מופץ תחת רישיון פתוח מסוג CC-BY 4.0. הרישיון מתיר שימוש חופשי, כולל שימוש מסחרי והתאמה של הנתונים לצרכים פרטיים, כל עוד נותנים ייחוס הולם ליוצרים לפי דרישות הרישיון. אין חובה לשתף את המודלים שתאמנו או את תוצרי הפיתוח באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗