openai-moderation-api-evaluation
קוד פתוחmmathysmit2023-08-28
ערכת מבחן ממוקדת לבדיקת מודלים לסינון תוכן פוגעני באנגלית. הטקסטים מגיעים ישירות ממחקר הבסיס של מודל המודרציה של OpenAI, ומאפשרים להשוות ביצועים מולו ראש בראש.
- 3,766הורדות בחודש
- 38לייקים
מה זה
המאגר כולל את סט המבחן מתוך המאמר על זיהוי תוכן לא רצוי של OpenAI, ומכיל רשומות טקסט שחולצו ישירות ממאגר הגיטהאב של הפרויקט. הנתונים מיועדים למשימת סיווג טקסט רב-תווית לפי קטגוריות סיכון ברורות שהוגדרו מראש. המטרה כאן היא לתת מדד השוואתי מדויק לכל מי שבונה או בודק מסנני תוכן.
כל רשומה מייצגת דגימת טקסט בודדת שמתוייגת בינארית לפי טקסונומיה מוגדרת. הקטגוריות כוללות תוכן מיני, דברי שטנה, אלימות, הטרדה, פגיעה עצמית, וכן תתי-סיווגים חמורים יותר כמו תוכן מיני שכולל קטינים, שטנה המלווה באיומים ממשיים, ותיאורים גרפיים קשים של אלימות ומוות. אם תווית מסוימת אינה מופיעה ברשומה, המשמעות היא שהסיווג עבורה אינו ידוע. הכרטיס אינו מפרט חלוקה מובנית לחלקי אימון ומבחן נוספים מעבר לקובץ הדגימות הזה.
מתאים ל
- הערכת מסנני תוכן
בדיקת ביצועים של מודלי סיווג עצמאיים מול הטקסונומיה המדויקת של OpenAI.
- בנצ'מרק השוואתי
מדידת יכולות של מודלי שפה באנגלית בזיהוי מקרי קצה של שטנה ואלימות.
- כיול ספי החלטה
בדיקת רגישות של מערכות מודרציה בקטגוריות חמורות כמו איומים ופגיעה עצמית.
איפה זה נופל
המאגר מכיל אנגלית בלבד, כך שהוא לא יעזור לכם לבחון זיהוי תוכן בעברית או בסלנג מקומי. מעבר לזה, הנתונים מקורם במאמר שפורסם באוגוסט 2022 והועלו למאגר באוגוסט 2023, כך שהם לא מכסים סגנונות חדשים של עקיפת מסננים. הכרטיס לא מציין מאיפה הדגימות נאספו פיזית ואיזה סינון הופעל עליהן, ומלבד שמות הקטגוריות אין פירוט על הטיות אפשריות במקורות המידע. אל תסתמכו עליו כמדד יחיד לפני העלאת מסנן לסביבת ייצור.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, המאגר פורסם תחת רישיון MIT שמתיר שימוש מסחרי מלא. אתם יכולים לבחון מולו מוצרים פנימיים או מערכות שאתם מוכרים ללקוחות. התנאי היחיד הוא צירוף עותק של הרישיון ומתן קרדיט כנדרש.
האם יש בדאטהסט טקסטים בעברית?
לא, הדאטהסט כולל אנגלית בלבד ומבוסס על מחקר שנערך בשפה הזו. אם המערכת שלכם מיועדת לטפל בטקסטים בעברית, המאגר הזה לא יספק לכם מענה ותצטרכו לחפש מקורות אחרים.
איך הנתונים נאספו ונבדקו?
הדגימות נלקחו ממאגר הגיטהאב של OpenAI שמלווה את המאמר על סינון תוכן משנת 2022. הכרטיס בהאגינג פייס לא מפרט את אופן האיסוף המקורי מהאינטרנט או את תהליך הסינון המדויק.
מה המשמעות של תוויות חסרות ברשומות?
לפי התיעוד, התוויות הבינאריות מתייחסות לשמונה קטגוריות ספציפיות. אם קטגוריה מסוימת לא מופיעה באובייקט ה־JSON של הרשומה, המשמעות היא שהסיווג שלה אינו ידוע, ולא בהכרח שהתוכן נקי מאותו סיכון.
איך טוענים
הנתונים יושבים בקובץ מכווץ בנתיב samples-1680.jsonl.gz לצד קובץ התיעוד, סך הכל שלושה קבצים במאגר. פותחים את קובץ ה־JSON Lines ישירות בספריית datasets או בפייתון רגיל. אין צורך באישור גישה מיוחד, הכל פתוח להורדה מיידית. בזמן הקריאה צריך לשים לב לשדות התוכן ולמפתחות התיוג S, H, V, HR, SH, S3, H2, V2. אם מפתח חסר באובייקט, המשמעות היא שאין לגביו תיוג ולא שמדובר בערך שלילי.
from datasets import load_dataset
ds = load_dataset("mmathys/openai-moderation-api-evaluation")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו ולשלב אותו במוצרים פרטיים. הרישיון לא דורש שיתוף תחת אותו רישיון, ומודל שתאמנו או תבדקו מולו לא נתון להגבלות קוד פתוח. הדרישה היחידה היא שמירה על הודעת זכויות היוצרים וכתב הוויתור המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש