hatexplain
קוד פתוחHate-speech-CNERGcc-by-4.02022-03-02
המאגר מסווג פוסטים לשנאה, פגיעה או תוכן רגיל, ומסמן את המילים המדויקות שהובילו להחלטה. זה מתאים למי שרוצה לאמן מודלים שגם מנמקים את הזיהוי ברמת הטוקן ולא רק זורקים תגית.
- 1,610הורדות בחודש
- 23לייקים
מה זה
הנתונים כוללים 9,055 פוסטים מטוויטר ועוד 11,093 פוסטים מפלטפורמת Gab. החוקרים הרכיבו לקסיקון משלושה מקורות קודמים, סיננו שיתופים מחדש וכפילויות, והסירו קישורים, תמונות וסרטונים כדי להשאיר טקסט ואימוג'ים בלבד. שמות משתמשים הוחלפו במחרוזת ייעודית לאנונימיות.
כל רשומה עברה בדיקה של שלושה תייגנים מתוך מאגר של 253 עובדי אמזון טורק שנבחרו אחרי פיילוט. התיוג כולל סיווג לשלוש קטגוריות, שיוך לקהילת היעד שנפגעה, ומערך בינארי של מילים שמצביע על חלקי הטקסט ששימשו בסיס לסיווג כשמדובר בתוכן פוגעני או שנאה. חלוקת הנתונים נעשית ביחס של 8 ל־1 ל־1 בין אימון, ולידציה ובדיקה דרך מזהי הפוסטים.
מתאים ל
- אימון זיהוי שנאה מוסבר
לימוד מודלים שמסווגים פוסטים ומסמנים בו זמנית את המילים המדויקות שמבססות את ההחלטה.
- זיהוי קהילות יעד מותקפות
בניית מסווג שמזהה אילו קבוצות באוכלוסייה סופגות את העלבונות בתוך הטקסט.
- הערכת עמידות של מודלים
בדיקת ביצועים של מערכות ניטור תוכן על פוסטים קיצוניים מרשתות כמו Gab וטוויטר.
איפה זה נופל
ההסכמה בין המתייגים עומדת על אלפא של קריפנדורף ברמה של 0.46. זה אמנם נחשב סביר לתחום של דיבור שנאה, אבל מראה שיש לא מעט מחלוקות סובייקטיביות בתוך התיוגים עצמם. בנוסף, חסר כאן כל הקשר חיצוני כמו היסטוריית הפוסטים של המשתמש, הביו שלו או המגדר, מה שמקשה על הבנת הכוונה במקרים גבוליים.
המאגר מוגבל לאנגלית בלבד ואין בו ייצוג לשפות אחרות. מקורות התוכן מגיעים מטוויטר ומ־Gab, פלטפורמות עם מאפייני שיח קיצוניים וספציפיים, ולכן מודל שילמד רק עליהן יתקשה לתפקד בסביבות שיח מרוככות יותר או במוצרים שפונים לקהל מגוון.
שאלות
נפוצות
האם הדאטהסט כולל עברית?
לא. המאגר מוגבל כולו לטקסטים בשפה האנגלית שנאספו מטוויטר ומ־Gab. אין בו תמיכה בעברית או בכל שפה אחרת.
האם מותר להשתמש בו למוצר מסחרי?
כן. בכרטיס מצוינים רישיונות CC-BY 4.0 ו־MIT, שניהם מאפשרים שימוש מסחרי. החובה העיקרית שלכם היא לתת ייחוס ברור לחוקרים שיצרו את המאגר.
במה הוא שונה מדאטהסטים אחרים של דיבור שנאה?
רוב המאגרים מספקים רק תווית סופית לטקסט כולו. כאן יש סימון ידני ברמת הטוקן שמראה בדיוק אילו מילים גרמו למתייגים להחליט שהתוכן בעייתי, לצד ציון קהילת היעד.
איך סוננו הנתונים המקוריים?
החוקרים שילבו לקסיקונים משלושה מחקרים קודמים כדי לאתר את הפוסטים. הם הסירו שיתופים, כפילויות, קישורים, תמונות וסרטונים, אך שמרו על אימוג'ים בתוך הטקסט.
איך טוענים
טוענים את המאגר ישירות בספריית datasets ללא צורך בהרשאה מיוחדת או בבקשת גישה. הטקסטים מגיעים מפורקים למערך של מילים, ולכן מי שצריך משפט רציף יצטרך לחבר אותם בעצמו. השדות המרכזיים לעבודה הם רשימת הטוקנים, מערך הרציונל שמסמן באפס או אחד כל מילה בעייתית, ותיוגי הבוחנים שכוללים את התוויות והקהילות שנפגעו.
from datasets import load_dataset
ds = load_dataset("Hate-speech-CNERG/hatexplain")הרישיון
המטא-דאטה מדווח על רישיון CC-BY 4.0 בעוד גוף הכרטיס מציין רישיון MIT. שני הרישיונות מתירים שימוש מסחרי, שינוי והפצה, ומחייבים מתן קרדיט ליוצרים. מותר לאמן מודלים למוצר מסחרי, אך יש לכלול את הייחוס המתאים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס