turkish-toxic-language
קוד פתוחOverfit-GMapache-2.02023-04-04
המאגר מרכז 77,800 טקסטים בטורקית לסיווג שיח פוגעני, ומחלק אותם לקטגוריות רעילות שונות. הוא מיועד למי שבונה מודלי ניטור תוכן בטורקית ומחפש נתונים ממקורות שונים במקום אחד.
- 108הורדות בחודש
- 33לייקים
מה זה
הנתונים מורכבים מטקסטים בטורקית שאוחדו מכמה מקורות קיימים ברשת. הסך הכל עומד על 77,800 רשומות, שמחולקות לטקסטים פוגעניים עם 40,137 דוגמאות וכאלה שאינם פוגעניים עם 37,663 דוגמאות תחת התווית OTHER. שאר התוויות מתפצלות לפי סוג הפגיעה: 18,252 מופעים של גסויות, 10,777 עלבונות, 10,163 אמירות גזעניות, ורק 945 מקרים של סקסיזם.
המקורות העיקריים שמהם נאסף המידע כוללים את Turkish Offensive Language Detection Dataset שממנו הגיעו 39,551 רשומות, פרויקט Jigsaw Multilingual עם 35,624 רשומות, ועוד 2,525 רשומות מתוך Turkish Cyberbullying Dataset. בנוסף מוזכרים קישורים למאגרים של OffensEval 2020 בטורקית, ציוצים פוגעניים ודיבור שנאה. היוצרים השתמשו במספר מודלי טרנספורמר כדי להרחיב את המאגר עם פסאודו-לייבלים.
מתאים ל
- סינון תוכן בטורקית
אימון מסווגים שמזהים קללות וביטויי שנאה בתגובות משתמשים בטורקית.
- הערכת מודלי שפה
בדיקת עמידות ורגישות של מודלים קיימים לפליטת תוכן רעיל ומעליב בטורקית.
- זיהוי בריונות ברשת
בניית מערכות התראה לפורומים ורשתות חברתיות שמתמקדות בעלבונות וגזענות.
איפה זה נופל
הבעיה המרכזית היא השימוש בפסאודו-לייבלים ממודלים חיצוניים, מה שאומר שחלק מהתיוגים עלולים להכיל שגיאות או הטיות של אותם מודלים בלי אימות אנושי. בנוסף, יש חוסר איזון קיצוני בין הקטגוריות: בעוד שקללות וגזענות מיוצגות באלפי דוגמאות, קטגוריית הסקסיזם כוללת 945 מקרים בלבד, כמות נמוכה מאוד לאימון אמין. המאגר מוגבל לשפה הטורקית בלבד, ואינו כולל שפות אחרות.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
כן. הרישיון המדווח הוא Apache 2.0, שמאפשר שימוש מסחרי חופשי, בתנאי ששומרים על תנאי הייחוס והודעות זכויות היוצרים.
האם יש במאגר טקסטים בעברית?
לא. המאגר מוגדר כולו לשפה הטורקית בלבד, ואין בו נתונים בעברית או בשפות אחרות.
מאיפה הגיעו הנתונים ואיך תויגו?
הנתונים אוחדו ממספר מקורות קיימים ברשת כמו תחרות Jigsaw ומאגרי טוויטר ובריונות בטורקית. חלק מהתיוגים נוצרו בעזרת מספר מודלי טרנספורמר שהוסיפו תוויות אוטומטיות.
האם החלוקה בין הקטגוריות מאוזנת?
החלוקה הכללית בין תוכן פוגעני ללא פוגעני מאוזנת, אך בתוך הקטגוריות הפנימיות יש פערים גדולים. סקסיזם כולל פחות מאלף דוגמאות, בזמן שגסויות מונות מעל 18,000 רשומות.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה של Hugging Face בפקודה load_dataset עם המזהה Overfit-GM/turkish-toxic-language. המאגר מכיל שלושה קבצים, והקובץ המרכזי שמחזיק את הטקסטים שמור בפורמט CSV תחת השם turkish_toxic_language.csv, כך שאפשר גם להוריד אותו ישירות ולקרוא אותו עם פנדס בלי תלות בספריות נוספות. אין כאן תהליך אישור מיוחד או צורך בהרשאות גישה מורכבות מעבר להתחברות רגילה אם המאגר מוגדר כפרטי, והעבודה נעשית מול עמודות הטקסט והסיווגים השונים.
from datasets import load_dataset
ds = load_dataset("Overfit-GM/turkish-toxic-language")הרישיון
הרישיון המדווח הוא Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והנתונים, והפצה מחדש. אין דרישה לשתף את המודל שתאמנו תחת אותו הרישיון, אך אתם מחויבים לתת קרדיט מתאים, לכלול עותק של הרישיון המקורי ולציין אם בוצעו שינויים בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים