measuring-hate-speech
קוד פתוחucberkeley-dlabcc-by-4.02022-03-02
המאגר כולל עשרות אלפי תגובות רשת עם ציונים רציפים ומפורקים לשנאה. הוא מתאים למי שרוצה לאמן מודלים על סולם שנאה מכויל ולא על סיווג בינארי פשטני.
- 1,590הורדות בחודש
- 53לייקים
מה זה
במקום לקבוע אם טקסט הוא פשוט שנאה או לא, החוקרים אספו 39,565 תגובות מרשתות חברתיות שעברו עיבוד קל, וקיבלו עליהן תיוגים מרובים מתוך 7,912 מתייגים שונים. בסך הכל המאגר מחזיק 135,556 שורות משולבות, כשכל תגובה נבדקה לא רק בשאלה הכללית אלא לפי עשרה רכיבים נפרדים כמו דה הומניזציה, אלימות, השפלה, עלבון ורצח עם.
הייחוד כאן הוא השימוש במודל מדידה מסוג IRT שמתחשב בהטיות התפיסה של המתייגים עצמם ומייצר ציון שנאה רציף. הנתונים כוללים שיוך לשמונה קבוצות זהות מותקפות, כמו גזע, דת, לאום, מגדר ונטייה מינית, יחד עם נתונים דמוגרפיים על המתייגים שסיווגו אותן כדי לאפשר ניתוח רב ממדי.
מתאים ל
- אימון מסווגי רעילות
כיול מודל לזיהוי שיח פוגעני בעזרת ציון רציף ועשר תוויות משנה מוגדרות.
- מחקר הטיות תיוג
בדיקת האופן שבו מאפיינים דמוגרפיים של בודקים משפיעים על החלטות סיווג.
- בנצ'מרק למודלי שפה
הערכת היכולת של מודלים קיימים להבחין בין ביטויי שנאה, עלבון ושיח תומך.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד, כך שהוא לא יעזור למי שמפתח פתרונות בעברית או מנסה לנטר שיח מקומי בלי לבצע התאמות ותרגום נרחבים. בנוסף, הנתונים מבוססים על תגובות רשת מתקופת המחקר שפורסם בין השנים 2020 ל־2022, כך שסלנג חדש או ביטויים פוליטיים עדכניים לא קיימים בו. תצטרכו גם להחליט בעצמכם על סף החיתוך המספרי של הציון הרציף כדי שיתאים למוצר שלכם, כי הטווח שבין מינוס 1 לחצי משאיר מרחב עמימות גדול.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא cc-by-4.0 ומאפשר שימוש מסחרי מלא. התנאי המרכזי הוא מתן ייחוס מתאים לחוקרים מברקלי שיצרו את המאגר.
האם הדאטהסט כולל טקסטים בעברית?
לא, המאגר מוגדר ומכיל טקסטים באנגלית בלבד. אם המוצר שלכם פונה לשוק המקומי בישראל, תצטרכו לאסוף ולתייג נתונים נפרדים או להסתמך על מודלים רב לשוניים.
במה הוא שונה ממאגרי שיח שנאה אחרים?
רוב המאגרים מסתפקים בתיוג בינארי של כן או לא, שלרוב יוצר רעש גדול בהגדרות. כאן יש פירוק לעשרה מאפיינים שונים וציון רציף שלוקח בחשבון את הפערים בהשקפות של המתייגים.
איך מחליטים מה נחשב לשיח שנאה לפי הנתונים?
החוקרים מגדירים טווח רציף בעמודה hate_speech_score. ערך מעל 0.5 מוגדר בקירוב כשנאה, ערך מתחת למינוס 1 מוגדר כשיח נגדי או תומך, ומה שביניהם נחשב ניטרלי או עמום.
איך טוענים
אתם מושכים את הנתונים ישירות דרך ספריית datasets בפייתון בעזרת הפקודה הרגילה, בלי שום צורך לבקש אישור גישה מראש. הקבצים יושבים בפורמט parquet יעיל וכוללים קובץ train בודד. השדות המרכזיים שתרצו לבדוק מיד הם text, comment_id, annotator_id, וציון המטרה hate_speech_score, שמתוכו ערך מעל 0.5 נחשב לשנאה, מתחת למינוס 1 לתמיכה, והטווח שביניהם לשטח אפור.
from datasets import load_dataset
ds = load_dataset("ucberkeley-dlab/measuring-hate-speech")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי ושילוב במודלים ובמערכות פנימיות, בלי חובה לשתף את התוצרים באותו רישיון. הדרישה היחידה היא מתן קרדיט ברור לחוקרים ולמוסד שפרסמו את הדאטה בכל פרסום או מוצר רלוונטי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס