gandalf_ignore_instructions

מה זה

הנתונים מבוססים על שאילתות שנשלחו למשחק גנדלף של חברת Lakera במהלך יולי 2023. מתוך מיליוני פניות של שחקנים, החברה סיננה רק ניסיונות דומים למשפט שדורש מהמודל להתעלם מהנחיות קודמות, בעזרת מודל שיכוך של OpenAI וסף דמיון של לפחות 0.825.

לאחר מכן הוסר מידע אישי מזהה באמצעות כלי ייעודי של החברה, ונוקו כפילויות כמעט זהות כדי למנוע זליגת מידע בין החלקים. מתוך התוצאה נדגמו 1000 פרומפטים בסך הכל.

המאגר חולק לאימון, ולידציה ובדיקה ביחס של 80, 10 ו־10 אחוזים. כל דגימה שובצה באופן עצמאי, כך שהחלוקה בין הקבצים אינה מדויקת על המספר.

מתאים ל

• בדיקת עמידות למודלים

  הרצת הפרומפטים על המודל כדי לוודא שהוא לא שוכח את הוראות המערכת מול משתמשים עוינים.

• אימון מסווגי אבטחה

  לימוד מודלים קלים לזהות ולחסום בזמן אמת ניסיונות דריסה של הנחיות קודמות.

• מדד השוואתי להגנות קלט

  בדיקה של שכבות סינון קלט מול אלף ניסיונות תקיפה אמיתיים של משתמשי קצה.

איפה זה נופל

הנתונים כולם באנגלית ומגיעים מחודש בודד, יולי 2023. הסינון התבסס כולו על דמיון סמנטי לביטוי יחיד, כך שהמאגר מכסה רק זווית התקפה מסוימת ולא הזרקות מתוחכמות, עקיפות או בשפות אחרות. מעבר לזה, המפרסמים מודים שיש רעש בנתונים בגלל תהליך הסינון האוטומטי, וחלק קטן מהדוגמאות אינו מכיל הזרקה אמיתית. לא הייתי בונה על זה כקו הגנה יחיד בייצור.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה Lakera/gandalf_ignore_instructions. אין צורך באישור גישה מוקדם או בהרשמה מיוחדת, הכל פתוח להורדה. החומר שמור בשלושה קבצי Parquet נפרדים לפי החלוקה לאימון, ולידציה ומבחן. המאגר קטן מאוד, מכיל אלף רשומות בלבד, כך שההורדה והטעינה לזיכרון מתבצעות תוך שניות בודדות.

from datasets import load_dataset

ds = load_dataset("Lakera/gandalf_ignore_instructions")

הרישיון

הרישיון הוא רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות, לאמן מודלים ולהפיץ מוצרים בלי חובת שיתוף באותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית והרישיון בתוכנה או בקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗