Salad-Data
קוד פתוחOpenSafetyLabapache-2.02024-02-26
מאגר נתוני בטיחות שמרכז שאלות תקיפה, הגנה ומבחנים רב-ברירתיים כדי לבחון עמידות של מודלי שפה. הוא מרכז תוכן ממקורות קיימים לצד הרחבות סינתטיות עם תיוג היררכי מפורט.
- 1,408הורדות בחודש
- 33לייקים
מה זה
המאגר מציע תשתית לבדיקת בטיחות של מודלים ומחולק לכמה קבצים מרכזיים לפי סוג המשימה. קובץ הבסיס מכיל 21,318 שאלות, כשרובן הגדול נוצר באמצעות מודל GPT-3.5 מכוונן בשיטת Self-instruct, והשאר נאסף ממאגרים מוכרים כמו HH-harmless, Advbench, Do-Not-Answer ו־ToxicChat.
לצד שאלות הבסיס, המאגר מספק פיצולים ייעודיים: קובץ שאלות מוגברות תקיפה שנוצרו באלגוריתמים כמו gptfuzz, קובץ מקביל מוגבר הגנה שמשתמש בטכניקות כמו reminder prompt, וקובץ שאלות אמריקאיות הכולל אפשרויות בחירה ותשובה נכונה. כל רשומה בכל הקבצים כוללת מזהה, טקסט השאלה, שיטת ההרחבה וסיווג היררכי תלת שכבתי של סוג הסיכון.
מתאים ל
- הערכת עמידות לתקיפות prompt
הרצת שאלות מקובץ התקיפה כדי לבדוק אם מודל שפה חוסם פניות עוינות או פריצות מסוג jailbreak.
- בדיקת בטיחות רב-ברירתית
שימוש בקובץ ה־MCQ להערכה אוטומטית מהירה של יכולת המודל לזהות תשובה בטוחה מבין כמה אפשרויות.
- אימון מסווגי תוכן מסוכן
כוונון מסווג לפי שלוש רמות הטקסונומיה כדי לזהות ולתייג פניות בעייתיות בזמן אמת.
איפה זה נופל
המאגר מוגדר לשפה האנגלית בלבד, למעט תת קבוצה זעירה של 230 שאלות שהוגדרה כמולטילינגוואלית, כך שאינו מתאים לבדיקת בטיחות בעברית. רוב מוחלט של שאלות הבסיס נשען על GPT-3.5, מה שמכניס הטיות סינתטיות של המודל הזה. בנוסף, כל התיוגים לקטגוריות הסיכון נוצרו באופן אוטומטי ולא סווגו ידנית על ידי בני אדם, מה שדורש אימות מדגמי של האמינות לפני שמבססים עליהם החלטות ייצור.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
כן, המאגר פורסם תחת רישיון Apache 2.0 המאפשר שימוש מסחרי מלא. עליכם רק לשמור על תנאי הייחוס והודעות הרישיון המקוריות.
האם אפשר לבחון איתו מודלים בעברית?
לא מומלץ. הנתונים באנגלית, ורק 230 רשומות מתוך עשרות אלפים הוגדרו כרב-לשוניות, ללא פירוט לגבי עברית.
מאיפה הגיעו השאלות שבמאגר?
מעל 15 אלף שאלות נוצרו בשיטת Self-instruct באמצעות GPT-3.5. שאר השאלות לוקטו ממאגרי בטיחות קיימים כמו Anthropic HH, Advbench ו־ToxicChat.
מה היתרון של המאגר מול סטים פשוטים של פרומפטים מסוכנים?
הוא מכיל לא רק שאלות גולמיות, אלא גם גרסאות מותקפות, גרסאות מוגנות ומבחנים אמריקאיים. בנוסף, כל הנתונים מתוייגים לפי היררכיית סיכונים אחידה בת שלוש רמות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם ציון שם הקובץ הרצוי, למשל base_set, ומקבלים את פיצול ה־train. הגישה פתוחה לחלוטין ללא צורך באישור מוקדם. הנתונים שמורים כקובצי JSON וכוללים שדות מפתח כמו question, augq או mcq בהתאם לקובץ, יחד עם שדות הסיווג 1-category, 2-category ו־3-category שמגדירים את קטגוריית הסיכון.
from datasets import load_dataset
ds = load_dataset("OpenSafetyLab/Salad-Data")הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש בנתונים לצרכים מסחריים, לשנות אותם ולשלב אותם באימון מודלים ללא דרישה לשתף את התוצרים באותו רישיון, כל עוד מצרפים עותק של הרישיון וייחוס מתאים ליוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים