mosscap_prompt_injection
קוד פתוחLakeramit2023-12-20
מאגר שמביא ניסיונות אמיתיים של אנשים לעקוף הגנות LLM במסגרת אתגר DEF CON. הוא מעניין כי הוא משקף התקפות אנושיות אמיתיות, ולא תבניות סינתטיות שנוצרו במעבדה.
- 972הורדות בחודש
- 21לייקים
מה זה
הנתונים נאספו ישירות מהמשחק Mosscap של חברת Lakera, גרסה מיוחדת של המשחק Gandalf שהופעלה בכנס DEF CON 31 כחלק מאתגר Red Team. הרשומות כוללות את כל מה שהמשתתפים הקלידו בניסיון לחלץ סיסמאות מוסתרות ממודל ChatGPT, כשהסיסמאות במשחק הזה כללו תווים מיוחדים ומחרוזות ארוכות יותר מהמשחק המקורי.
במאגר יש מאות אלפי שורות שמחולקות לקבצי train, test ו־validation בפורמט Parquet. כל רשומה כוללת את שלב האתגר, בין רמה אחת לשמונה, את הפרומפט שהזין המשתמש, את התשובה שהוצגה לו בפועל, ואת התשובה הגולמית של ChatGPT לפני סינון הגנות. המפרסמים לא סיננו את החומר ושחררו כל קלט שנשלח, כך שחלק ניכר מהתוכן הוא שיחות סתמיות ולא בהכרח ניסיונות הזרקה מוצלחים או חכמים.
מתאים ל
- אימון מסווגי קלט להגנה
זיהוי פרומפטים שמנסים לתחמן מודלים או לחלץ מידע שמור, על בסיס ניסיונות אמיתיים של משתמשי קצה.
- בנצ'מרק למודלי שפה
בדיקת העמידות של מודל קיים מול מאות אלפי ניסיונות עקיפה שנבדקו בשטח בדרגות קושי שונות.
- מחקר על הגנות פוסט פרוסס
השוואה בין התשובה הגולמית של המודל לתשובה המסוננת כדי לנתח מתי חסימות ברמת האפליקציה עובדות.
איפה זה נופל
הבעיה המרכזית היא חוסר סינון ותיוג. Lakera מצהירים במפורש שהם שפכו פנימה כל מה שהוקלד, מה שאומר שיש שם המון רעש, שאלות כלליות וג'יבריש שלא קשורים להזרקות פרומפט. בנוסף, כל המידע מבוסס על תרחיש ספציפי וצר מאוד של גניבת סיסמה ממשחק, כך שהוא לא מייצג תקיפות מורכבות יותר כמו הדלפת מידע ממסדי נתונים, פגיעה ב־RAG או הרצת קוד עוין. אין התייחסות לשפות נוספות מעבר לאנגלית, וסביר להניח שאין כאן כמעט עברית.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן, הרישיון הוא MIT. אפשר לאמן עליו מודלים מסחריים, לבדוק איתו מערכות פרודקשן או להטמיע חלקים ממנו בכלים פנימיים, בתנאי שמצרפים את תנאי הרישיון המקורי.
האם הדאטהסט כולל עברית?
הכרטיס לא מציין שפות אחרות, והמשחק התנהל באנגלית בכנס DEF CON בארצות הברית. רוב מוחלט של החומר באנגלית, ואם יש קלטים בעברית הם אפסיים ואינם מתאימים לאימון ייעודי בעברית.
איך הנתונים נאספו בפועל?
הנתונים הגיעו משחקנים באתגר Generative Red Team בכנס DEF CON 31, ששיחקו במשחק Mosscap. כל קלט שנשלח למערכת נשמר כמות שהוא יחד עם תגובות המודל.
האם כל הדוגמאות שם הן התקפות תקיפות?
לא. Lakera מציינים בפירוש שהם לא סיננו כלום, ויש שם המון שאלות תמימות, ניסויים של אנשים שלא הבינו את המטרה וסתם פטפוטים, כך שחייבים לבצע סינון לפני אימון.
איך טוענים
טוענים את הקבצים ישירות דרך ספריית datasets או קוראים את קבצי ה־parquet באמצעות pandas. אין צורך באישור גישה מוקדם או בהרשמה מיוחדת. השדות המרכזיים לעבודה הם prompt, שמכיל את קלט המשתמש, וההבדל בין answer לבין raw_answer, שמאפשר לראות איפה מנגנון ההגנה של האפליקציה עצר את הפליטה של הסיסמה לעומת מה שהמודל רצה להחזיר במקור.
from datasets import load_dataset
ds = load_dataset("Lakera/mosscap_prompt_injection")הרישיון
המאגר שוחרר תחת רישיון MIT, מה שנותן חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים פנימיים או מוצרים מסחריים, ולהפיץ אותו הלאה. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי בקוד או בתיעוד הרלוונטי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש