hate_speech_offensive
קוד פתוחtdavidsonunknown2022-03-02
המאגר הזה מפריד בין דיבור שנאה לבין שפה פוגענית כללית בטוויטר. הוא מיועד למי שרוצה לסווג טקסט חריף בלי לתייג אוטומטית כל קללה כהסתה.
- 2,778הורדות בחודש
- 42לייקים
מה זה
הנתונים מכילים ציוצים באנגלית שנאספו מטוויטר ותויגו על ידי משתמשי פלטפורמת CrowdFlower. כל רשומה כוללת את תוכן הציוץ, מספר האנשים שבדקו אותו, פירוט ההצבעות המדויק, ותווית סופית לפי רוב הקולות. המאפיין הבולט כאן הוא הניסיון לבודד שנאה אמיתית מגינויים ושפה בוטה שאינה שנאה.
התיוג מחולק לשלוש קטגוריות ברורות: דיבור שנאה שמסומן בספרה אפס, שפה פוגענית שמסומנת בספרה אחת, ומקרים שאינם שייכים לאף אחת משתי הקטגוריות שמסומנים בספרה שתיים. לפחות שלושה מתייגים בחנו כל ציוץ, ובמקרים של חוסר הסכמה נוספו מתייגים נוספים כדי להגיע להכרעה.
כל המידע מרוכז בחלק אחד בלבד שמסומן כאימון, בהיקף של בין עשרת אלפים למאה אלף רשומות. המפרסמים לא חילקו את המאגר מראש לקבוצות של מבחן ואימות, כך שמי שבונה מודל צריך לחתוך את הנתונים בעצמו לפני תחילת העבודה.
מתאים ל
- סינון קללות מול שנאה
אימון מודל שמבדיל בין גידוף נקודתי לבין הסתה ממשית ברשתות חברתיות באנגלית.
- הערכת עמידות מודלים
בדיקת היכולת של מסווג טקסט קיים לא לטעות ולהגדיר סלנג בוטה כדיבור שנאה.
- ניתוח אי הסכמות בתיוג
חקר מקרים גבוליים באמצעות בדיקת יחס ההצבעות בין המתייגים השונים על כל ציוץ.
איפה זה נופל
הטקסטים מבוססים על טוויטר באנגלית מגרסה מוקדמת ולא כוללים עברית כלל. שמות משתמשים בציוצים לא עברו אנונימיזציה, וזה חושף אתכם לבעיות פרטיות אם אתם שומרים את הנתונים בסביבת פיתוח פתוחה. בנוסף, חלקי ההסבר על הטיות ועל אופן איסוף הנתונים המקורי ריקים לחלוטין בכרטיס המאגר. בלי חלוקה מובנית לטסט, קל מאוד להגיע לזליגת מידע אם לא מפרידים את הרשומות בקפידה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
בפרטי המאגר נכתב שהרישיון הוא MIT, מה שמתיר שימוש מסחרי חופשי לצד מתן קרדיט. עם זאת, השדה הרשמי בהאגינג פייס מוגדר כלא ידוע, וזה דורש בדיקה מול היוצרים לפני הטמעה. עורכי דין יבקשו לוודא את הסטטוס מול הקישור הישיר לגיטהאב.
האם המאגר כולל תוכן בעברית?
המאגר כולו באנגלית ומבוסס על ציוצים שנכתבו בשפה זו בלבד. אין בו שום ייצוג לעברית או לסלנג מקומי. מי שרוצה לסווג טקסטים בעברית יצטרך לבצע תרגום מכונה של הנתונים או לחפש מקורות נתונים אחרים.
איך נאספו ותויגו הנתונים במקור?
הנתונים נדגמו מטוויטר ונשלחו לתיוג אנושי באמצעות מתנדבים בפלטפורמת CrowdFlower. כל ציוץ נבדק על ידי שלושה אנשים לפחות, ובמקרים לא ברורים הוסיפו מתייגים נוספים. התיוג התמקד בחלוקה לשלוש דרגות חומרה: שנאה, שפה פוגענית בלבד, ואף אחת מהן.
מה ההבדל בין המאגר הזה למאגרי סיווג שנאה אחרים?
רוב המאגרים בתחום מציגים תיוג בינארי של שנאה לעומת טקסט נקי, מה שגורם למודלים לחשוב שכל קללה היא שנאה. המאגר הזה מפריד שפה פוגענית כללית מקטגוריית השנאה באופן מפורש. הוא מאפשר ללמד מודלים להתמודד עם שפה מלוכלכת בלי לחסום תוכן שלא לצורך.
איך טוענים
המאגר מגיע כקובץ Parquet יחיד שיושב בתיקיית המידע ומכיל פחות ממאה אלף רשומות. אין צורך לבקש אישור גישה מיוחד, פשוט מושכים אותו ישירות מהאגינג פייס. השדות המרכזיים שמעניינים אתכם בקוד הם tweet שמכיל את הטקסט הגולמי, ו־label שמחזיק את התווית לפי רוב. אם רוצים לחשב משקלים או לטפל באי הסכמות, אפשר להשתמש ישירות בעמודות hate_speech_annotation, offensive_language_annotation ו־neither_annotation.
from datasets import load_dataset
ds = load_dataset("tdavidson/hate_speech_offensive")הרישיון
במטאדאטה הרשמי של המאגר הרישיון מוגדר כלא ידוע, אבל בגוף הטקסט של הכרטיס המפרסמים מציינים רישיון MIT. הפער הזה מחייב בדיקה משפטית זהירה מול המאגר המקורי בגיטהאב לפני שימוש מסחרי. אם רישיון MIT אכן תקף עליו, מותר להשתמש בנתונים באופן חופשי ומסחרי, כולל שינוי והפצה, כל עוד שומרים על הקרדיט ונוסח הרישיון המקורי.