multilingual_toxicity_dataset
קוד פתוחtextdetoxopenrail++2024-02-01
המאגר מרכז דגימות טקסט לסיווג רעילות בטווח של עשרות אלפי רשומות ובשלל שפות כולל עברית. הוא נועד למי שצריך תיוג בינארי מאוזן לבדיקת מודלים בלי לאסוף מקורות בנפרד.
- 981הורדות בחודש
- 36לייקים
מה זה
הנתונים בנויים כסיווג בינארי פשוט שכולל טקסט ותיוג של רעיל או לא רעיל. לפי התיעוד מדובר במקבצים של 5,000 דגימות לכל שפה, שמחולקות שווה בשווה לחצי רעיל וחצי תקין. המאגר הוכן במסגרת משימות TextDetox בשנים 2024 ו־2025, וכולל קובצי Parquet נפרדים לשפות שונות כמו אנגלית, רוסית, גרמנית, ערבית, ספרדית, צרפתית, איטלקית ועברית.
המקורות משתנים לחלוטין בין שפה לשפה ומבוססים על איסוף ממאגרים חיצוניים קיימים. באנגלית נלקחו נתונים מ־Jigsaw ו־Unitary AI, בגרמנית מ־DeTox ו־GermEval, ובשפות אחרות ממחקרים עצמאיים. הדגימות בעברית נשענות ישירות על הפרויקט Hebrew Offensive Language Dataset, בעוד שבשפות כמו יפנית הסינון בוצע בעזרת Perspective API.
מתאים ל
- בנצ'מרק לסיווג בעברית
בדיקת ביצועים של מסווגי רעילות על מדגם מאוזן של 5,000 משפטים בעברית.
- הערכת מודלים רב-לשוניים
השוואת דיוק זיהוי תוכן פוגעני בין שפות שונות תחת אותו מבנה נתונים בינארי.
- כיול ספי זיהוי
בדיקת רגישות של מסנני תוכן קיימים על דוגמאות קצה רעילות ותקינות.
איפה זה נופל
חמשת אלפים רשומות לשפה זה מדגם קטן מאוד, שלא מספיק כדי לאמן מאפס מודל זיהוי רעילות שפוגש משתמשים אמיתיים. בנוסף, כל שפה הגיעה ממקור אחר לחלוטין עם מתודולוגיית תיוג שונה. מה שנחשב פוגעני במאגר האנגלי לא בהכרח תואם את הגדרות התיוג שנעשו בעברית או בספרדית. בחלק מהשפות כמו צרפתית או הינגליש המקורות המקוריים בכלל לא פורטו בכרטיס, וביפנית התיוג התבסס על מודל אוטומטי ולא על בני אדם.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
כן, המאגר כולל קובץ ייעודי לעברית שמבוסס על Hebrew Offensive Language Dataset. לפי התיעוד מדובר במקבץ מאוזן של כ־5,000 דגימות.
האם הרישיון מאפשר שימוש מסחרי?
הרישיון הוא openrail++, שאינו רישיון קוד פתוח רגיל אלא כולל הגבלות אתיות על אופן השימוש בנתונים ובמודלים שנגזרים מהם. צריך לוודא שהמוצר שלכם עומד בכללי השימוש המותרים של הרישיון.
איך נאספו הנתונים?
היוצרים לא אספו מידע חדש בעצמם אלא איגדו מקורות מחקריים קיימים לכל שפה. באנגלית השתמשו בין היתר ב־Jigsaw, בעברית במאגר של Natalia Vanetik, וביפנית סיננו תגובות מפורום בעזרת Perspective API.
האם גודל הדאטהסט מתאים לאימון מלא של מסווג?
היקף של 5,000 דוגמאות לשפה קטן מדי לאימון מודל אמין מאפס לסביבת ייצור. המאגר מתאים בעיקר להערכה, לבדיקות בנצ'מרק או לכיוונון עדין ראשוני.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה של המאגר, ללא צורך בהרשאות מיוחדות או בבקשת גישה מראש. הקבצים שמורים בפורמט Parquet בחלוקה לפי קודי שפה כמו he לעברית או en לאנגלית, כך שאפשר למשוך רק את השפה הרלוונטית לעבודה. נפח כל קובץ קטן למדי בהתחשב בכך שמדובר באלפי רשומות בודדות לכל שפה, ולכן אין דרישות זיכרון כבדות. השדות המרכזיים מתמקדים במחרוזת הטקסט ובתווית הסיווג הבינארית של הרעילות.
from datasets import load_dataset
ds = load_dataset("textdetox/multilingual_toxicity_dataset")הרישיון
המאגר מופץ תחת רישיון openrail++. הרישיון הזה מאפשר שימוש חופשי אבל מטיל הגבלות שימוש ספציפיות שנועדו למנוע נזק ושימוש לרעה. ההגבלות האלה חלות בדרך כלל גם על מודלים או יישומים שמאומנים על הדאטה, ולכן חייבים לקרוא את תנאי הרישיון המלאים לפני שמשלבים אותו במערכת מסחרית.
- שימוש מסחרי
- שינוי הקוד
- מגבלות שימוש ברישיון