kmhas_korean_hate_speech
קוד פתוחjeanleecc-by-sa-4.02022-11-21
מעל מאה אלף תגובות מחדשות מקוונות בקוריאנית מסווגות לדיבור שנאה לפי שמונה קטגוריות שונות. היתרון המרכזי כאן הוא התיוג המרובה, שמאפשר להצמיד לכל משפט בין תווית אחת לארבע במקביל.
- 547הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 109,692 רשומות המבוססות על תגובות גולשים באתרי חדשות בקוריאה הדרומית. הטקסטים נאספו ממאגרים גולמיים שהיו זמינים ב־Kaggle וב־GitHub ונכתבו בין ינואר 2018 ליוני 2020. חמישה מתייגים דוברי קוריאנית שפת אם עברו על התגובות בשני סבבים וחילקו אותן לפי מילות מפתח והקשר תרבותי.
המבנה מאפשר סיווג בינארי פשוט של שנאה מול היעדר שנאה, לצד סיווג רב-תוויתי מפורט יותר. שמונה הקטגוריות כוללות פוליטיקה, מוצא, מראה חיצוני או מוגבלות, גיל, מגדר, דת, גזע וקללות כלליות. משפט שלא כולל שנאה מקבל תג ייעודי משלו.
הנתונים מחולקים מראש לשלושה קבצים תוך שמירה על יחסי המחלקות: 78,977 דוגמאות לאימון, 8,776 לוולידציה ו־21,939 למבחן.
מתאים ל
- אימון מסווג רב-תוויתי
זיהוי בו-זמני של כמה סוגי שנאה שונים בטקסט קוריאני, למשל קללות שמשלבות גיל ומגדר.
- סינון תגובות באתרי תוכן
ניטור אוטומטי של טוקבקים בקוריאנית כדי לחסום ביטויי פגיעה פוליטיים או מגדריים.
- הערכת מודלי שפה לקוריאנית
בדיקת ביצועים של מודלים קיימים על הבנת סלנג, קללות והקשרים תרבותיים ייחודיים לשפה.
איפה זה נופל
כל הטקסטים מגיעים מאתרי חדשות ונכתבו בין 2018 ל־2020. סגנון הכתיבה הזה מוטה מאוד לפוליטיקה מקומית ולשפה של טוקבקים, והוא לא ייצג נכון שיחות ברשתות חברתיות אחרות או סלנג שהתפתח מאז. מעבר לזה, רק חמישה אנשים תייגו את כל 109,692 הדוגמאות דרך פלטפורמת מיקור המונים. תיוג של דיבור שנאה הוא סובייקטיבי מיסודו, וכמות כל כך קטנה של בודקים מכניסה בהכרח הטיות אישיות לתוך הדאטהסט. בנוסף, המאגר תומך בקוריאנית בלבד ואין בו שום ייצוג לעברית או לאנגלית.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הרישיון מתיר שימוש מסחרי, אבל סעיף ה־ShareAlike מחייב להפיץ כל יצירה נגזרת תחת אותו רישיון חופשי. אם אתם רק מאמנים מודל פנימי בלי לחלק את הדאטהסט עצמו, זה עשוי להתאים, אך מומלץ לוודא את ההשלכות המשפטיות.
האם יש במאגר תמיכה בעברית?
לא. כל 109,692 הרשומות מורכבות אך ורק מתגובות חדשות שנכתבו בקוריאנית, ואין בו נתונים בעברית.
איך נאסף הטקסט ומאיפה הוא הגיע?
הטקסטים נלקחו מתגובות חדשות מקוונות בקוריאה הדרומית שפורסמו במקור בין ינואר 2018 ליוני 2020. החוקרים ליקטו את המידע הגולמי מתוך מאגרים שהועלו בעבר ל־Kaggle ול־GitHub.
במה הוא שונה מדאטהסטים רגילים לזיהוי דיבור שנאה?
רוב המאגרים בתחום עובדים על סיווג בינארי של יש שנאה או אין שנאה, או בחירה יחידה מתוך רשימה סגורה. כאן כל משפט יכול להכיל בין תו אחד לארבעה תגים שונים במקביל מתוך שמונה קטגוריות.
איך טוענים
טוענים את הדאטהסט ישירות דרך הספרייה הרגילה של Hugging Face בלי צורך באישור גישה ידני או מפתחות מיוחדים. המבנה מגיע במקור כקובצי טקסט וכולל שני שדות בלבד: text עם מחרוזת התגובה המקורית, ו־label שמחזיר רשימה של מספרים מ־0 עד 8. בגלל שמדובר בסיווג רב-תוויתי, שדה התוויות מכיל מערך של אינטגרים ולא ערך בודד, מה שדורש התאמה של פונקציית ההפסד והמדדים מראש.
from datasets import load_dataset
ds = load_dataset("jeanlee/kmhas_korean_hate_speech")הרישיון
הרישיון הוא CC BY-SA 4.0. מותר להשתמש בנתונים למטרות מסחריות ולשנות אותם, אבל חובה לתת קרדיט ליוצרים. המלכוד העיקרי הוא סעיף השיתוף הזהה: אם אתם מעבדים, משנים או בונים דאטהסט נגזר על בסיס החומר הזה, אתם מחויבים להפיץ את התוצר תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון