ethos

מה זה

המאגר כולל טקסטים קצרים באנגלית שנאספו מתגובות ביוטיוב ומפוסטים ברדיט, מתוך ערוצים וקהילות שנוטים למשוך תוכן פוגעני. התיוג הראשוני בוצע על ידי יואניס מולאס ואומת בפלטפורמת מיקור ההמונים Figure8.

הנתונים מחולקים לשתי גרסאות. הראשונה היא בינארית ומכילה 998 תגובות, מתוכן 565 ללא דיבור שטנה ו־433 עם שטנה. הגרסה השנייה היא תת-קבוצה מרובת תוויות של אותן 433 תגובות שטנה.

בגרסה המורחבת כל תגובה מקבלת תיוג לשמונה מאפיינים שונים: האם יש קריאה לאלימות, האם הפגיעה ישירה או כללית, וחלוקה לפי שש קטגוריות של מגדר, גזע, מוצא לאומי, מוגבלות, דת ונטייה מינית.

מתאים ל

• בנצ'מרק לסיווג שטנה

  בדיקת איכות ודיוק של מודלים קיימים בזיהוי שמונה קטגוריות שונות של פגיעה באנגלית.

• הערכת מודלי שפה

  בחינת היכולת של מודלים להבדיל בין שפה בוטה וגסה לבין דיבור שטנה של ממש.

• בדיקת סיווג רב-תווית

  שימוש בתת-הקבוצה המתוייגת כסט מבחן מהיר לאלגוריתמים של multi-label classification.

איפה זה נופל

החיסרון המרכזי הוא הגודל. עם פחות מאלף דוגמאות בסך הכל ו־433 דוגמאות שטנה בלבד, המאגר קטן מדי לאימון מודל מאפס ויכול לשמש רק להערכה או לבדיקות. בנוסף, כל הנתונים נאספו באנגלית מסביבות ספציפיות כמו רדיט ויוטיוב בסביבות שנת 2020, כך שהם לא מייצגים שפות אחרות, סלנג מקומי או פלטפורמות שונות.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה בעזרת הסקריפט ethos.py שנמצא במאגר, ללא צורך באישור גישה מוקדם או הרשמות. המאגר מכיל פחות מאלף רשומות, כך שמדובר בקובץ זעיר שיורד ומעובד בתוך שניות ספורות. בעת הטעינה צריך לבחור אם לעבוד עם הגרסה הבינארית שכוללת את השדות text ו־label, או בגרסה הרב-תווית שחושפת את שמונת שדות הסיווג הנוספים עבור תוכן פוגעני.

from datasets import load_dataset

ds = load_dataset("iamollas/ethos")

הרישיון

המאגר מוגדר ברישיון AGPL-3.0, בעוד בכרטיס המידע מצוין רישיון GPLv3. שני הרישיונות הם רישיונות קוד פתוח מדבקים ומחמירים, שמחייבים שיתוף של כל קוד או שירות שמשתמש בהם תחת אותו רישיון בדיוק. שימוש מסחרי במערכות סגורות או במודלים קנייניים שמאומנים על הדאטהסט הזה חושף אתכם לחובת שחרור קוד המקור.

הרישיון המלא ב־Hugging Face ↗