wiki_toxic
קוד פתוחOxAISH-AL-LLMcc0-1.02022-08-25
תגובות מפורומים של ויקיפדיה באנגלית שמסווגות כרעילות או לא רעילות. המאגר מציע גרסה מעובדת ומנוקה של אתגר קגל המוכר, שמתאימה ישירות למשימות סיווג טקסט.
- 883הורדות בחודש
- 24לייקים
מה זה
הנתונים מבוססים על תחרות הזיהוי של תגובות רעילות שערכה ג'יגסו בקגל בין השנים 2017 ל־2018. הטקסטים נאספו מתוך דפי שיחה ודיונים בוויקיפדיה, ועברו עיבוד וניקוי מחדש באמצעות סקריפט פייתון שנכלל במאגר. בניגוד לאתגר המקורי שכלל תיוג מרובה קטגוריות, כאן התיוג פשוט ובינארי לחלוטין: תגובה רעילה מקבלת 1, ותגובה שאינה רעילה מקבלת 0.
המאגר מחולק לשלושה חלקים מוכנים לעבודה. סט האימון מכיל 127,656 דוגמאות, סט הוולידציה כולל 31,915 רשומות, וסט המבחן מחזיק 63,978 שורות נוספות. בנוסף לקבצים הרגילים, המאגר כולל גם קובץ אימון מאוזן שנועד לסייע בהתמודדות עם חוסר האיזון המובנה בנתונים.
מתאים ל
- אימון מסווג רעילות בסיסי
זיהוי תגובות פוגעניות באנגלית באמצעות תיוג בינארי פשוט ומוכן מראש.
- בנצ'מרק למודלי שפה
הערכת ביצועי מודלים במשימת סיווג טקסט על בסיס סט בדיקה של עשרות אלפי דוגמאות.
- סינון תוכן קהילתי
ניטור ראשוני של תגובות משתמשים באתרי תוכן ופורומים דוברי אנגלית.
איפה זה נופל
המאגר מוגבל לשפה האנגלית בלבד, ואינו כולל שום ייצוג לעברית. מקור הטקסטים בדיונים היסטוריים של ויקיפדיה מסביבות 2017, כך שהסגנון משקף שיח מקוון ישן יחסית והקשרים ספציפיים לאותה פלטפורמה.
מעבר לכך, כרטיס המאגר משאיר את רוב השאלות החשובות ללא מענה. אין פירוט לגבי זהות המתייגים, אופן תהליך התיוג, או הסכנות למידע אישי רגיש שנשאר בטקסטים. מי שמתכנן להשתמש בזה למערכת סינון חיה צריך לבדוק בעצמו את ההטיות, במיוחד סביב שפה בוטה שאינה בהכרח פוגענית.
שאלות
נפוצות
האם המאגר כולל תמיכה בעברית?
לא. כל התגובות במאגר נאספו מפורומים של ויקיפדיה באנגלית בלבד. אם המטרה היא זיהוי רעילות בעברית, המאגר הזה לא יסייע לכם ישירות ללא תרגום או אימון מקביל.
האם מותר להשתמש בנתונים לפרויקט מסחרי?
כן. הרישיון שדווח בדף הוא CC0 1.0, שמוותר על זכויות יוצרים ומעביר את התוכן לנחלת הכלל. אתם יכולים לאמן עליו מודלים מסחריים בלי לשלם תמלוגים או לשתף את התוצאות.
מה ההבדל בין המאגר הזה לתחרות המקורית בקגל?
המאגר מבוסס על נתוני התחרות של ג'יגסו, אך הטקסטים עברו ניקוי באמצעות סקריפט שנכלל במאגר. בנוסף, כל סוגי הרעילות השונים מהתחרות אוחדו לתיוג בינארי של תגובה רעילה מול תגובה שאינה כזו.
איך מחולקים הנתונים בין החלקים השונים?
המאגר מציע חלוקה מובנית לשלושה סטים. סט האימון כולל 127,656 רשומות, הוולידציה מחזיקה 31,915, וסט הבחינה מכיל 63,978 דוגמאות נוספות.
איך טוענים
טעינת המאגר מתבצעת ישירות דרך ספריית datasets באמצעות המזהה OxAISH-AL-LLM/wiki_toxic. אין צורך בבקשת גישה מיוחדת, בחתימה על הסכמים מקדימים או באישור ידני של היוצרים, והנתונים נגישים לכל דורש מהרגע הראשון.
המבנה של כל רשומה כולל שלושה שדות בלבד: מחרוזת מזהה ייחודית, הטקסט המלא של התגובה, ומספר שלם שמייצג את התווית. הנתונים שמורים כקובצי טקסט מופרדים בפסיקים לצד קובצי סקריפט וקונפיגורציה, כך שזמן ההורדה והטעינה בזיכרון קצר במיוחד ואינו דורש משאבי חישוב יוצאי דופן.
from datasets import load_dataset
ds = load_dataset("OxAISH-AL-LLM/wiki_toxic")הרישיון
המאגר מופץ תחת רישיון CC0 1.0, שמקביל לנחלת הכלל. הרישיון מאפשר שימוש חופשי לחלוטין לכל מטרה, כולל פיתוח מסחרי ואימון מודלים פנימיים או מוצרים שנמכרים ללקוחות, בלי חובת ייחוס של היוצרים ובלי דרישה לשתף את הקוד או את המודל המאומן תחת אותו רישיון.