ctf-satml24
קוד פתוחethz-spylabmit2024-03-24
שיחות תקיפה אמיתיות מתוך תחרות אבטחה שבה אנשים ניסו לחלץ סודות ממודלי שפה. מקור מעשי לבדיקת עמידות של פרומפטים ומסנני הגנה.
- 533הורדות בחודש
- 26לייקים
מה זה
המאגר מציג ניסיונות פריצה מתוך תחרות SaTML שנערכה ב־2024. המטרה של התוקפים היתה לדלות סוד שהוסתר בתחילת השיחה, מול הגנות שכללו פרומפטים של מערכת, מסנני פייתון ומסננים מבוססי מודלים. הניסיונות בוצעו מול שני מודלים ספציפיים: gpt-3.5-turbo-1106 ו־llama-2-70b-chat.
הנתונים מחולקים לשלושה חלקים עיקריים. החלק הראשון כולל 137 אלף שיחות עוינות שנאספו בזמן אמת, יחד עם ההגנות שהופעלו וניסיונות הניחוש של הסוד. החלק השני מכיל 44 מנגנוני הגנה מאושרים מלוח התוצאות, שנבדקו במבחני שימושיות כדי לוודא שאינם פוגעים בתפקוד השוטף של המודל. החלק השלישי מקשר בין שמות הצוותים שהתחרו למזהי ההגנות שהגישו.
מתאים ל
- בדיקת עמידות פרומפטים
הרצת 137 אלף ניסיונות עקיפה על פרומפטים פנימיים כדי לבדוק אם הם חושפים מידע רגיש.
- אימון מסנני קלט
שימוש בטקסטים של התוקפים לבניית מסווג שמזהה מניפולציות וניסיונות חילוץ נתונים בזמן אמת.
- בנצ'מרק להגנות שיחה
השוואת מנגנוני הגנה חדשים מול 44 טכניקות שנבדקו ואושרו ברמת יעילות מוכחת בתחרות.
איפה זה נופל
כל התוכן מוגבל אך ורק לתרחיש של שליפת סוד מוגדר מראש מתוך שיחה, ולא מכסה סוגי פריצה אחרים כמו הזרקות קוד מורכבות או גרימת נזק עקיף. הנתונים מתעדים התנהגות מול שתי גרסאות מודל בלבד מתחילת 2024, כך שתוקפים עשויים לפעול אחרת מול מודלים חדשים יותר. מעבר לכך, התחרות התנהלה כולה באנגלית, מה שמשאיר פערי מידע גדולים אם רוצים לבחון עמידות של מודלים שמקבלים הנחיות בשפות אחרות כמו עברית.
שאלות
נפוצות
האם מותר להשתמש במידע לפיתוח מוצר מסחרי?
כן, הרישיון הוא MIT ולכן אין מגבלה על שימוש מסחרי בנתונים. מותר לנתח את המידע, לפתח לפיו מוצרים או לאמן מודלים לזיהוי מתקפות. חובה רק לשמור על תנאי הרישיון המקוריים בעת הפצה.
האם יש במאגר שיחות והתקפות בעברית?
הכרטיס לא מציין שימוש בשפות נוספות מעבר לאנגלית. התחרות נערכה באנגלית מול פרומפטים באנגלית, כך שאין כאן כיסוי לניסיונות תקיפה או הגנה מותאמים לעברית. אם המערכת שלכם עובדת בעברית, תצטרכו לבדוק אותה בנפרד.
איך נאספו נתוני התקיפה בפועל?
השיחות נוצרו בזמן אמת על ידי משתתפי תחרות LLM CTF בשנת 2024. כל תוקף קיבל גישה לשיחה מול המודל וניסה לחלץ את הסוד המוגדר תחת הגנות שונות. המערכת שמרה את כל השיחות, הניסיונות והתוצאות ישירות לקובצי הנתונים.
מול אילו מודלים השיחות האלו התבצעו?
המשתתפים תקפו שתי גרסאות מודל בלבד: gpt-3.5-turbo-1106 של חברת OpenAI ו־llama-2-70b-chat הפתוח. התוצאות משקפות את החולשות והתגובות של המודלים האלה מול ההגנות שנבנו. כדאי לקחת בחשבון שמודלים מתקדמים יותר יגיבו אחרת לאותם ניסיונות.
איך טוענים
טוענים את המידע ישירות בספריית datasets עם הקריאה הרגילה של load_dataset, בלי צורך לבקש אישור גישה מוקדם או להירשם. המאגר מציע שלוש תצורות נפרדות למשיכה: interaction_chats עבור שיחות התקיפה בפיצול attack, defense עבור ההגנות המאושרות בפיצול valid, ו־teams למיפוי הצוותים. במאגר יש 15 קבצים בפורמט JSON, ומומלץ לבדוק את chat.json לצד קובצי ההגנות כדי להבין את מבנה הנתונים המלא והשדות שמקשרים בין הניחושים לתוצאות השיחה.
from datasets import load_dataset
ds = load_dataset("ethz-spylab/ctf-satml24")הרישיון
המאגר מופץ תחת רישיון MIT, שמאפשר שימוש חופשי כמעט לכל מטרה. מותר להשתמש במידע לפרויקטים מסחריים, לאמן עליו מודלים, לשנות אותו ולשלב אותו במוצרים פנימיים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים ונוסח הרישיון המקורי בקבצים שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש