UltraSafety
קוד פתוחopenbmbmit2024-03-15
המאגר מרכז 3,000 הוראות מזיקות עם ניסיונות עקיפה ותשובות ממגוון מודלים. הוא מיועד למי שרוצה לבדוק עמידות של מודל לפריצות אבטחה או לאמן אותו לסרב לבקשות מסוכנות.
- 162הורדות בחודש
- 36לייקים
מה זה
המאגר כולל 3,000 הוראות מזיקות, שכל אחת מהן מוצמדת לפרומפט עקיפה מסוג ג'יילברייק. הבסיס נשען על 1,000 הוראות ראשוניות שהגיעו מתוך AdvBench ו־MaliciousInstruct, ואליהן נוספו עוד 2,000 הוראות שנוצרו באמצעות טכניקת Self-Instruct. כדי לאתגר את המערכות, החוקרים לקחו פרומפטים של פריצה מתוך AutoDAN וביצעו סינון ידני שהשאיר 830 פרומפטים שנמצאו איכותיים.
עבור כל פנייה כזו נוצרו תשובות משורה ארוכה של מודלים ברמות אבטחה שונות, החל מסדרת LLaMA 2, דרך מודלים פתוחים כמו Mistral, Mixtral, Zephyr, StarChat, Vicuna ו־WizardLM, ועד למודלים מסחריים כמו GPT-3.5 Turbo ו־GPT-4. כל תשובה קיבלה תיוג בינארי שנקבע על ידי GPT-4, כאשר ציון 1 מייצג תשובה בטוחה וציון 0 מייצג תשובה מזיקה.
מתאים ל
- אימון להתמודדות עם עקיפות
הנתונים מתאימים לכוונון מודלים כך שיזהו ניסיונות ג'יילברייק ויסרבו לספק מידע מסוכן.
- הערכת בטיחות מודלים
הרצת 3,000 השאלות על המודל שלכם כדי למדוד כמה פעמים הוא נכשל ומחזיר תוכן מזיק.
- אופטימיזציית העדפות
שימוש בתשובות המדורגות כבסיס להעדפות של תגובות בטוחות על פני תגובות שמשתפות פעולה.
איפה זה נופל
היוצרים מודים בפירוש במגבלה מרכזית: כל התיוגים של התשובות, האם הן מזיקות או בטוחות, נשענים על דירוג אוטומטי של GPT-4. המודל הזה שוגה לעיתים ונותן משוב לא מדויק, ולכן אי אפשר לסמוך על הציונים בעיניים עצומות בלי בדיקה מדגמית משלכם.
בנוסף, כל המאגר קיים באנגלית בלבד. אם אתם בונים שירות שפונה לקהל ישראלי, הדאטהסט לא יעזור לבדוק פריצות שנוסחו בעברית או מניפולציות של שפה מקומית. לפני שמכניסים מודל לשימוש חי, חייבים לייצר מקרי קצה מקומיים ולא להסתמך רק על הצלחה במבחן הזה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון של המאגר הוא רישיון MIT פתוח ומתיר שימוש מסחרי מלא. אתם רשאים לאמן מודלים עבור חברות או לשלב את הנתונים בבדיקות של מוצרים פנימיים. חובה רק לצרף את תנאי הרישיון המקוריים בעת הפצה.
האם יש במאגר נתונים בעברית?
המאגר כולו באנגלית בלבד, ואין בו ייצוג לשפות נוספות. מי שמפתח מוצר שמיועד לעבוד מול קהל ישראלי יצטרך לתרגם את הפרומפטים או לייצר מבחני אבטחה עצמאיים בעברית. הסתמכות עליו לבדו לא תגן מפני פריצות מקומיות.
איך המידע הזה נאסף בפועל?
החוקרים שילבו 1,000 הוראות קיימות ממאגרי AdvBench ו־MaliciousInstruct, ויצרו עוד 2,000 בעזרת Self-Instruct. את התקפות העקיפה לקחו מ־AutoDAN וסיננו ידנית ל־830 דוגמאות. לאחר מכן הריצו מודלים שונים כדי לאסוף תשובות ותייגו אותן בעזרת GPT-4.
במה הוא שונה מדאטהסטים אחרים של בטיחות?
במקום לבדוק רק שאלות ישירות, כאן כל הוראה מזיקה מוצמדת לפרומפט עקיפה מתוחכם שנבחר ידנית. בנוסף, המאגר מציע תשובות ממגוון רחב של מודלים פתוחים ומסחריים לאותה הפנייה, כך שניתן לראות את ההבדלים בהתנהגות שלהם.
איך טוענים
הקובץ המרכזי במאגר נקרא UltraSafety.jsonl והוא יושב תחת מבנה קבצים פתוח לגמרי, בלי צורך בטופסי הרשמה או אישורי גישה מוקדמים. כדי לעבוד איתו פשוט קוראים את קובץ הטקסט שורה אחר שורה בכל סביבת פיתוח סטנדרטית, או מושכים אותו ישירות מקוד פייתון. המבנה מציג את ההוראה, את מעטפת העקיפה, את התשובות של המודלים השונים ואת הדירוג של GPT-4. שימו לב שהמאגר מתוייג בעמוד שלו תחת משימת visual-question-answering, אך בפועל מדובר בטקסט בלבד של בטיחות ואבטחת שיחה.
from datasets import load_dataset
ds = load_dataset("openbmb/UltraSafety")הרישיון
המאגר משוחרר תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי לגמרי, כולל שימוש מסחרי, מחקר, שינוי של הנתונים והפצה מחודשת. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי. המשמעות היא שאתם יכולים לאמן עליו מודלים פנימיים או מסחריים בלי לחשוף את הקוד שלכם ובלי לשלם תמלוגים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש