toxic_conversations_50k
קוד פתוחmtebcc-by-4.02022-05-26
תגובות משתמשים עם תיוג של רעילות שנועדו לבחון מודלי שיבוץ (embeddings). הוא מתאים למי שרוצה למדוד סיווג טקסט פוגעני במסגרת בנצ'מרק סטנדרטי.
- 2,443הורדות בחודש
- 19לייקים
מה זה
המאגר כולל תגובות טקסטואליות שנאספו מפלטפורמת Civil Comments, ומיועדות למשימת סיווג טקסט (t2c) לפי רמת הרעילות שלהן. הנתונים מתבססים במקור על תחרות Kaggle לזיהוי הטיות לא מכוונות בסיווג רעילות (Jigsaw Unintended Bias in Toxicity Classification), ועברו עיבוד נוסף כחלק מפרויקט MTEB.
הקבצים במאגר שמורים בפורמט jsonl ומחולקים לחלקי train ו־test, לצד קובצי הגדרות כמו eval.yaml וסקריפט הכנה prepare.py. כל רשומה כוללת את הטקסט הכתוב יחד עם התיוג האם התוכן רעיל או לא, ללא פירוט נוסף בכרטיס על מבנה השדות הפנימי מעבר לכך.
מתאים ל
- בנצ'מרק למודלי שיבוץ
הרצת בדיקות השוואתיות על מודלי embeddings למשימת זיהוי רעילות דרך ספריית mteb הרשמית.
- אימון מסווגי תוכן פוגעני
שימוש בטקסטים ובתיוגים כדי לאמן מודלים לזיהוי שפה בוטה ורעילה באנגלית.
- בדיקת הטיות בסיווג
הערכת היכולת של מסווג להתמודד עם מונחים מורכבים שמקורם בתחרות Jigsaw המקורית.
איפה זה נופל
הטקסט כולו באנגלית בלבד, כך שהוא לא יעזור למי שמחפש לזהות רעילות בעברית או בסלנג מקומי. המקור הוא תגובות רשת ישנות מפלטפורמת Civil Comments ותחרות של Jigsaw, ולכן הטקסטים מוגבלים לתחום השיח הזה ולא כוללים שיחות צ'אט מודרניות או סוגי מדיה אחרים. בנוסף, כרטיס המאגר לא מפרט את כמות השורות המדויקת, את אופן הסינון או את אחוזי החלוקה בין הקבצים, ולכן תצטרכו לבדוק את התפלגות התוויות בעצמכם לפני שתסתמכו עליו באימון.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן. הרישיון הוא cc-by-4.0, שמאפשר שימוש מסחרי מלא. הדרישה העיקרית היא מתן קרדיט וייחוס מתאים למפרסמים כפי שמצוין בהנחיות הציטוט.
האם הדאטהסט כולל תגובות בעברית?
לא. השפה המוגדרת במאגר היא אנגלית בלבד. אם המוצר שלכם פונה למשתמשים בישראל בשפה העברית, הנתונים כאן לא רלוונטיים עבורכם.
איך הנתונים נאספו במקור?
התגובות נלקחו מפלטפורמת Civil Comments ושימשו במקור בתחרות של Jigsaw ב־Kaggle. לאחר מכן צוות MTEB עיבד את הנתונים והכין אותם למשימת הערכת שיבוצים.
באיזה פורמט הקבצים מגיעים?
הנתונים מחולקים לקובצי train.jsonl ו־test.jsonl. ניתן לטעון אותם ידנית בעזרת ספריות JSON סטנדרטיות או ישירות דרך כלי ההרצה של ספריית mteb בפייתון.
איך טוענים
הטעינה מתבצעת ישירות דרך חבילת הפייתון mteb על ידי קריאה למשימה ToxicConversationsClassification, או בקריאה ישירה לקובצי ה־jsonl מהמאגר. אין צורך לבקש אישור גישה מיוחד כדי להוריד את הקבצים. המאגר עצמו קל משקל וכולל שישה קבצים בלבד, כך שהריצה מקומית ומהירה, בלי דרישות חומרה חריגות לתהליך ההורדה והעיבוד הראשוני.
from datasets import load_dataset
ds = load_dataset("mteb/toxic_conversations_50k")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, בתנאי שאתם נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. מבחינת מודלים, הרישיון אינו דורש שיתוף תחת אותו רישיון (אין כאן copyleft), כך שאפשר לשלב אותו במוצרים מסחריים בלי לחשוף קוד, כל עוד מקפידים על חובת הייחוס.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס