jigsaw_toxicity_pred
קוד פתוחgooglecc0-1.02022-03-02
מאגר נתוני טקסט שמכיל מאות אלפי תגובות מוויקיפדיה עם תיוג אנושי לרמות רעילות שונות. הוא מיועד למי שרוצה לאמן או לבחון מודלים לזיהוי שיח פוגעני באנגלית תחת רישיון חופשי.
- 625הורדות בחודש
- 34לייקים
מה זה
המאגר מבוסס על תחרות עבר של גוגל וג'יגסו בקגל, וכולל תגובות ממשתמשי ויקיפדיה שתויגו ידנית בידי מעריכים אנושיים. כל רשומה כוללת מזהה ייחודי, את מחרוזת הטקסט המקורית של התגובה, ומערך של תוויות בינאריות עבור סוגי פגיעה שונים. המידע מחולק לחלק אימון ולחלק בדיקה.
התיוג אינו מסתכם רק בקביעה האם התוכן פוגעני, אלא מפרק את ההתנהגות לכמה קטגוריות נפרדות במקביל. בין השדות אפשר למצוא רעילות כללית, רעילות חמורה, גסויות, איומים, עלבונות ושנאה על רקע זהות. הכרטיס לא מפרט את הליך הסינון המדויק או את זהות המתייגים, אך מציין שהמטרה הייתה לסייע בפיתוח כלים לניטור שיח מקוון.
מתאים ל
- סינון תגובות אוטומטי
אימון מודל ראשוני לזיהוי קללות והעלבות באנגלית עבור מערכות ניהול תוכן ופורומים.
- בנצ'מרק לסיווג תוויות
הערכת ביצועים של ארכיטקטורות עיבוד שפה במשימות מורכבות של ריבוי תוויות במקביל.
- מחקר הטיות בטקסט
בדיקת האופן שבו מודלים מזהים מילות גנאי בהקשרים הומוריסטיים לעומת הקשרים פוגעניים.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים אך ורק על תרבות השיח בוויקיפדיה, כך שאינם מייצגים שיחות ברשתות חברתיות אחרות או סלנג מקומי. מעבר לכך, אין כאן עברית כלל.
הכרטיס מדגיש הטיה מהותית, לפיה נוכחות של מילות קללה גורמת לתיוג אוטומטי כפוגעני, גם כשהטקסט נכתב בהומור או בהלקאה עצמית. תופעה זו עלולה לפגוע במיוחד בקבוצות מיעוט, ומי שמתכנן להשתמש במאגר למוצר אמיתי חייב לבדוק את התנהגות המודל מול טקסטים בעלי הקשר מורכב ולא להסתמך על התיוג כעיוור.
שאלות
נפוצות
האם הדאטהסט כולל תגובות בעברית?
לא, המאגר כולל אך ורק תגובות באנגלית שנאספו מוויקיפדיה. אם אתם מחפשים לאמן כלי לזיהוי שיח פוגעני בעברית, הנתונים כאן לא יעזרו לכם.
מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר מפורסם תחת רישיון חופשי, אך הטקסטים עצמם מקורם בוויקיפדיה וכפופים לרישיון שיתוף זהה. מומלץ לבדוק את ההשלכות המשפטיות של הרישיון המקורי של הטקסט לפני שמשלבים אותו במערכת מסחרית סגורה.
איך נאספו התיוגים של הרשומות?
התיוגים בוצעו על ידי מעריכים אנושיים שבחנו את התגובות וסיווגו אותן לפי שש קטגוריות שונות. עם זאת, הכרטיס אינו מפרט מי היו המתייגים, כמה אנשים ראו כל תגובה או מה הייתה רמת ההסכמה ביניהם.
האם המאגר מתאים לזיהוי סרקסטיות או הומור עצמי?
לא ממש. התיעוד מודה בפירוש שמשפטים שמכילים מילות קללה סווגו לרוב כרעילים, גם אם נכתבו בנימה מבדחת, מה שיוצר רגישות יתר לקללות ללא הבנת ההקשר.
איך טוענים
טוענים את המאגר ישירות דרך ספריית הדאטהסטים באמצעות המזהה הרשמי, ללא צורך בהרשאת גישה מיוחדת או באישור ידני. המאגר כולל קובץ סקריפט ייעודי ומכיל בין מאה אלף למיליון רשומות, כך שזמן ההורדה והטעינה לזיכרון סביר למדי במרבית סביבות הפיתוח המודרניות.
בזמן העבודה חשוב לשים לב לשדה הטקסט הראשי, ולעובדה שמדובר במשימת סיווג מרובת תוויות שבה כל דגימה יכולה להכיל כמה ערכים חיוביים במקביל עבור קטגוריות הפגיעה השונות. מומלץ לוודא שהפייפליין שלכם ערוך לקלוט מערך של אפסים ואחדים עבור כל תגובה ולא תגית יחידה.
from datasets import load_dataset
ds = load_dataset("google/jigsaw_toxicity_pred")הרישיון
המאגר עצמו מופץ תחת רישיון נחלת הכלל מסוג אפס, שמאפשר שימוש מסחרי, שינוי והפצה ללא דרישת ייחוס. עם זאת, טקסט התגובות המקורי מוויקיפדיה כפוף לרישיון שיתוף זהה, ולכן יש לבדוק היטב את תנאי השימוש בטקסטים לפני אימון והפצה מסחרית של מודלים נגזרים.