llmail-inject-challenge

מה זה

המאגר מרכז ניסיונות של תוקפים לעקוף מנגנוני הגנה בתוך שירות דוא"ל מבוסס מודלי שפה, במטרה לגרום למודל להוציא קריאת API לשליחת מייל או לגנוב מידע בלי אישור המשתמש. הנתונים מחולקים לשני שלבי תחרות. השלב הראשון מכיל 370,724 הגשות גולמיות, והשלב השני מוסיף 90,916 הגשות נוספות שנבחנו מול שכבות הגנה קשיחות יותר כמו חסימת ביטויים וסניטיזציה. לצד הקבצים הגולמיים יש קובצי הגשות ייחודיות מתוייגות, 160,741 משלב ראשון ו־37,303 משלב שני.

כל רשומה מייצגת הגשה של משתתף וכוללת נושא, גוף הודעה, מזהה צוות, תרחיש וחותמת זמן. התיוגים מציינים אם הניסיון הפעיל את קריאת ה־API בהצלחה או סומן כמתקפה על ידי שופט מבוסס מודל. הניסיונות נבחנו מול ארבעים שלבים שונים ששילבו מודלים כמו Phi-3-medium ו־GPT-4o mini, לצד הגנות כמו Spotlighting, PromptShield, בדיקת אקטיבציות ב־TaskTracker ושופטי LLM.

בנוסף לקובצי ההגשות, המאגר כולל 203 הודעות דוא"ל לבדיקת False Positive, פירוט של תרחישי השליפה השונים, תיאורי השלבים ומערכי הפרומפטים שניתנו למערכת בזמן הניסויים.

מתאים ל

• אימון מסווגי אבטחה

  אימון מודל שמזהה ניסיונות Prompt Injection עקיפים בתוך נתונים חיצוניים כמו מיילים ומסמכים.

• בנצ'מרק למערכות RAG

  בדיקת העמידות של סוכנים ומערכות שליפת מידע מול טקסטים עוינים שנמצאים בתוך בסיס הנתונים.

• כיול שופטי מודל

  שיפור פרומפטים של מודלי שפה שתפקידם לפקח על תקינות פלטים ולזהות בריחה מתוואי המשימה.

איפה זה נופל

ההתקפות כולן ממוקדות בתרחיש בודד וצר מאוד של לקוח דוא"ל, שבו היעד הוא קריאה לפונקציית שליחת מייל לכתובת ספציפית או גניבת שורת תקציב. כל הטקסטים והדוגמאות נכתבו באנגלית, כך שאין כאן שום מידע על התקפות בעברית או בשפות אחרות. התיוגים בחלק מההגשות הייחודיות נקבעו על ידי שופט LLM ולא על סמך הפעלת קוד בפועל, מה שמכניס שגיאות מדידה והטיות של המודל השופט. הנתונים משקפים הגנות ומודלים נכון לתחילת 2025.

איך טוענים

טוענים את קובצי ההגשות הגולמיים ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה microsoft/llmail-inject-challenge. הקבצים שמורים בפורמט JSONL ו־JSON, והמאגר פתוח לציבור ללא צורך בהרשאה מיוחדת. אם אתם מתכננים לאמן מסווג, מומלץ להוריד ידנית מהמאגר את קובצי ההגשות המתוייגות. השדות החשובים לעבודה הם body ו־subject שמכילים את תוכן ההתקפה, והשדות attack_attempt ו־reason שמספקים את התוצאה הסופית והסיבה להצלחה.

from datasets import load_dataset

ds = load_dataset("microsoft/llmail-inject-challenge")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ושילוב במוצרים סגורים, בלי חובה לשחרר את הקוד או את המודל שלכם באותו אופן. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ונוסח הרישיון המקורי של מיקרוסופט. מבחינת מודלים, מותר לאמן עליו מוצרי הגנה מסחריים בלי הגבלה משפטית ישירה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗