safe-guard-prompt-injection
קוד פתוחxTRam1רישיון לא דווח2024-06-23
מאגר לאימון מסווגי הזרקות פרומפטים שמחלק טקסטים לתקיפים ובטוחים. הוא פותר את בעיית המחסור בדוגמאות תקיפה מגוונות בעזרת סינתזה מונחית עץ קטגוריות.
- 1,654הורדות בחודש
- 34לייקים
מה זה
הנתונים מחולקים למערך אימון ולמערך בדיקה, שמטרתם לזהות האם קלט משתמש מהווה ניסיון הזרקת פרומפט או בקשה תמימה. לפי כרטיס המאגר, הבסיס כולל 7,000 פרומפטים תקינים שנאספו ממאגרים פתוחים כמו open-instruct, helpful-instructions ו־awesome-chatgpt-prompts, לצד 3,000 פרומפטים זדוניים שנבנו בצורה סינתטית. סט הבדיקה הנפרד כולל 600 פרומפטים נוספים שנאספו באותה שיטה בדיוק.
כדי לייצר את התקיפות, החוקרים נעזרו בגישת מאמר GLAN ובמאגר jailbreak-classification. הם הגדירו עץ קטגוריות של התקפות, שכולל מניפולציית הקשר, הנדסה חברתית, התעלמות מהוראות והשלמות מזויפות, והשתמשו ב־GPT-3.5-turbo כדי לייצר דוגמאות מגוונות בכל ענף.
מתאים ל
- אימון מסווג הגנה ראשוני
בניית מודל קל משקל שמסנן פניות משתמש זדוניות לפני שהן מגיעות למודל השפה המרכזי.
- הערכת עמידות מודלים קיימים
שימוש ב־600 דוגמאות המבחן כדי לבדוק איך מסווג נוכחי מתמודד עם קטגוריות הזרקה מגוונות.
- מחקרי הזרקות פרומפטים
בחינת ההשפעה של דאטה סינתטי מובנה על דיוק הזיהוי מול דאטהסטים ידניים וקטנים.
איפה זה נופל
כל התקיפות במאגר הן סינתטיות ונוצרו על ידי GPT-3.5-turbo, מה שאומר שהן משקפות רק את סגנון הניסוח והיכולות של המודל הזה מתחילת 2024. תוקפים אנושיים משתמשים בשיטות מתוחכמות יותר, טכניקות עקיפה חדשות ורעש לשוני שהמודל לא ראה כאן.
אין במאגר עברית. הנתונים מבוססים על מאגרים באנגלית בלבד, ואימון עליהם לא יספק הגנה על קלטים בשפות אחרות. בנוסף, חלוקת האימון אינה מאוזנת ומכילה יותר מפי שניים דוגמאות תקינות לעומת תקיפות, נקודה שחובה לבחון ולכייל מחדש לפני שמחברים את המסווג לשירות אמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ כרגע. המאגר פורסם ללא הגדרת רישיון, מה שמשאיר את זכויות השימוש במצב לא ברור מבחינה חוקית. כל עוד היוצרים לא הגדירו רישיון פתוח, שימוש מסחרי חושף אתכם לסיכון משפטי.
האם הדאטהסט תומך בעברית או בהתקפות מתורגמות?
לא. כל הנתונים, הן התקינים שנלקחו ממאגרים פתוחים והן הסינתטיים שיוצרו על ידי המודל, מנוסחים באנגלית בלבד. אם המערכת שלכם מקבלת שאילתות בעברית, תצטרכו לאסוף או לתרגם נתונים בעצמכם.
איך נוצרו דוגמאות ההתקפה במאגר?
החוקרים לקחו השראה ממאמר GLAN ובנו עץ קטגוריות שכלל סוגי התקפות נפוצים. לאחר מכן הם הנחו את GPT-3.5-turbo לייצר 3,000 תקיפות מובחנות שמכסות את כל הענפים בעץ.
כמה המאגר גדול והאם צריך חומרה חזקה כדי לטעון אותו?
המאגר כולל בסך הכל כ־10,600 שורות המחולקות לקובצי parquet בודדים. המשקל שלו זניח לחלוטין ואפשר לטעון אותו ולעבד אותו במלואו על כל מחשב נייד ללא צורך במשאבי חישוב מיוחדים.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה הרשמי, ללא צורך בהרשאות גישה או אישור מיוחד. הנתונים שמורים בקובצי parquet בודדים עבור האימון והבדיקה, ונפח הקבצים הכולל קטן מאוד כך שההורדה לוקחת שניות בודדות.
לפני שמריצים אימון, חשוב לבדוק את מבנה הרשומות בתוך הקבצים. המאגר מיועד למשימת סיווג בינארי של קלט מול תווית, והוא שוחרר כבסיס לאימון מודל DeBERTa-v3-small, כך שהוא נכנס לזיכרון בקלות בכל סביבת פיתוח סטנדרטית.
from datasets import load_dataset
ds = load_dataset("xTRam1/safe-guard-prompt-injection")הרישיון
היוצרים לא הגדירו רישיון בדף המאגר. מבחינה משפטית, היעדר רישיון משמעו שכל הזכויות שמורות ואין אישור מפורש לשימוש מסחרי, הפצה או אימון מודלים פנימיים. אם אתם בונים כלי מסחרי, אסור להסתמך עליו כרגע, ויש לפנות קודם לצוות המפתח מברקלי כדי לקבל הבהרה או רישוי מתאים.