toxi-text-3M
קוד פתוחFredZhang7apache-2.02023-06-28
מאגר שמקבץ קרוב לשלושה מיליון תגובות וציוצים לסיווג תוכן פוגעני בעשרות שפות אנושיות. הוא נועד למי שרוצה לאמן מודל סינון מהיר בלי להסתמך על תרגום מכונה.
- 1,021הורדות בחודש
- 31לייקים
מה זה
הנתונים מורכבים מטקסטים קצרים של משתמשים אמיתיים ברשת, כמו ציוצים, הודעות ותגובות. המאגר כולו מחולק לשלושה קובצי CSV פשוטים עבור אימון, ולידציה ובדיקה, כאשר בכל קובץ יש רק שלוש עמודות: הטקסט עצמו, תיוג בינארי של תוכן רעיל, ושפת הטקסט מתוך רשימה של חמישים וחמש שפות שכוללת גם עברית.
מקור המידע כאוטי לחלוטין. היוצר מודה שאינו זוכר מאיפה הוריד את רוב החומר מלבד כמה מקורות ספציפיים מגיטהאב, קגל, האגינג פייס וטוויטר, לצד כמאה רשומות שהוא כתב ידנית. התיוגים מכסים קטגוריות שונות של פגיעה כמו איומים, גזענות, הטרדות וספאם מיני, אך המאגר משטח את כולם להגדרה בודדת של אפס או אחד.
מתאים ל
- אימון מסווג תוכן פוגעני
זיהוי תגובות פוגעניות וקללות במערכות שיחה ופורומים לפי סיווג בינארי.
- בדיקת מודלים רב-לשוניים
הרצת בדיקות zero-shot על נתוני הבדיקה כדי להעריך עמידות בשפות שונות.
- סינון ראשוני בצ'אטים
חסימה אוטומטית של הודעות שנאה והטרדות ברמת ביטחון גבוהה לפני בדיקה אנושית.
איפה זה נופל
חוסר הידיעה לגבי מקורות הנתונים הוא בעיה גדולה שלא מאפשרת לדעת מאיפה הטקסטים נשלפו או אילו הטיות נכנסו פנימה. התיוג נחתך למספר שלם, כך שטקסטים גבוליים שקיבלו במקור הערכה של סביב חמישים אחוז הפכו לתווית מוחלטת. אם תפגשו שורות שמכילות רק קישורים או אימוג'ים, השפה תוגדר כלא ידועה. לפני שמכניסים מודל כזה למוצר, חייבים לבדוק ידנית את איכות הטקסטים בעברית כי אין פירוט על הכמות או האיכות שלהם במאגר.
שאלות
נפוצות
האם המאגר כולל עברית?
כן, עברית מופיעה ברשימת השפות הנתמכות בכרטיס המאגר. עם זאת, היוצר לא מפרט כמה שורות בעברית קיימות בפועל מתוך שלושת המיליונים, ולכן כדאי לפלטר לפי שדה השפה ולבדוק את הכמות לפני שמתחילים לאמן.
מותר להשתמש בזה למוצר מסחרי?
הרישיון שפורסם הוא apache-2.0, שמתיר שימוש מסחרי מלא בלי דרישה לפתוח את המודל שלכם. הבעיה המשפטית היחידה היא שהיוצר מודה שהוא לא זוכר את המקורות המדויקים של רוב הטקסטים, כך שלא ניתן לוודא את הרישיונות המקוריים של כל הנתונים שנאספו.
איך טוענים את הנתונים בלי שגיאות?
בגלל פער בספירת השורות, טעינה רגילה עשויה להיכשל. יש להוסיף את הפרמטר verification_mode="no_checks" לקריאה של load_dataset בפייתון כדי לעקוף את הבדיקה הזו.
איך סווגו סוגי הפגיעות השונים?
הנתונים נאספו עבור מגוון קטגוריות כמו גזענות, הטרדה, איומים ומיזוגניה, אבל בקובץ הסופי כולן אוחדו לעמודה בינארית אחת בלבד. לא תוכלו לדעת מהקובץ איזה סוג פגיעה מופיע בטקסט מסוים.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של פייתון בלי צורך באישור גישה מראש. חשוב להעביר את הפרמטר verification_mode="no_checks" בזמן הטעינה, אחרת תקבלו שגיאה על אי התאמה בספירת השורות. כל המידע מגיע בקובצי CSV עם עמודות text, is_toxic ו־lang, כך שאין צורך בעיבוד מקדים מורכב כדי לחלץ את התוויות.
from datasets import load_dataset
ds = load_dataset("FredZhang7/toxi-text-3M")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי הקוד והפצה מחדש. המשמעות היא שאתם יכולים לאמן עליו מודלים פנימיים או מסחריים בלי לחלוק את הקוד שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים