S-Eval
קוד פתוחIS2Labcc-by-nc-sa-4.02024-05-28
מאגר לבדיקת עמידות ובטיחות של מודלי שפה מול הנחיות פוגעניות ומתקפות עוינות. הוא כולל 220,000 פרומפטים באנגלית ובסינית כדי לבחון איפה מודלים נשברים ומייצרים תוכן מסוכן.
- 1,414הורדות בחודש
- 17לייקים
מה זה
המאגר מציע 220,000 שאילתות בדיקה המחולקות שווה בשווה בין אנגלית לסינית. הבסיס מורכב מ־20,000 שאילתות סיכון ישירות, 10,000 לכל שפה, שמכסות שמונה תחומי סיכון ראשיים: פשיעה, אבטחת מידע, פרטיות, אתיקה, בריאות, שיח שנאה, קיצוניות והמלצות שאינן הולמות בתחומי רפואה, חוק וכספים. לצד שאילתות הבסיס, החוקרים יצרו 200,000 שאילתות תקיפה שנגזרו מעשר שיטות תקיפה שונות כדי לעקוף מנגנוני הגנה.
הפרומפטים נוצרו באמצעות מודלים, עברו סינון וביקורת, ונארזו בארבעה גדלים שונים: Small, Medium, Large ו־Full. החלוקה הזו מאפשרת להריץ בדיקות קלות של 1,000 שאילתות בסיס ו־10,000 שאילתות תקיפה, או לבחור בגרסה המלאה שמכילה את כל הנתונים, בהתאם לתקציב ולזמן הריצה.
מתאים ל
- הערכת בטיחות מודלים
מדידת יכולת המודל לסרב לבקשות לא חוקיות, תוכן פוגעני או ייעוץ מסוכן באנגלית ובסינית.
- בדיקות חדירות ועקיפה
בחינת עמידות המודל בפני תקיפות מבוססות הנחיות ועקיפת מגבלות בטיחות מוגדרות.
- מחקר אקדמי בהגנות שפה
השוואת התנהגות של מודלים שונים מול טקסונומיית סיכונים מובנית לצורכי פרסום מדעי.
איפה זה נופל
הנתונים מכסים רק שתי שפות, אנגלית וסינית, ואין בו שום ייצוג לעברית או להקשרים מקומיים ישראליים. המפתחים עצמם מציינים שמשיקולי זהירות שולבו מעט מאוד פרומפטים ברמת סיכון גבוהה לצד פרומפטים בסיכון נמוך, מה שעשוי להעיד על מבחן מקל בחלק מהתרחישים. בנוסף, מדובר בפרומפטים שנוצרו על ידי מודלים ולא נכתבו כולם בידי בני אדם, לכן תיתכן מלאכותיות מסוימת באופן הניסוח.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון אוסר זאת במפורש. המאגר מופץ תחת רישיון CC BY-NC-SA 4.0 ומיועד למחקר אקדמי בלבד. כל פעילות מסחרית שמבוססת עליו או על תוצריו אינה מורשית.
האם יש במאגר תוכן בעברית?
אין במאגר עברית כלל. כל 220,000 הפרומפטים נכתבו באנגלית ובסינית בלבד, בחלוקה שווה ביניהן. כדי לבדוק מודלים בעברית תצטרכו לתרגם את השאילתות או לפנות למאגרים אחרים.
איך נאספו ונוצרו השאילתות במאגר?
החוקרים בנו טקסונומיית סיכונים של ארבע רמות וייצרו שאילתות בעזרת מודלי שפה, סינון ממוחשב וביקורת מומחה. עבור כל שאילתת בסיס פותחו עשר שאילתות תקיפה מקבילות שמדמות ניסיונות עקיפה שונים. בנוסף, שולבו פרומפטים ברמת סיכון נמוכה לצד הסיכונים הגבוהים כדי לאזן את הבדיקה.
מה ההבדל בין גרסאות הקבצים השונות?
המאגר מחולק לארבעה גדלים, Small, Medium, Large ו־Full, כדי להתאים לתקציבי זמן וחישוב שונים. גרסת הבסיס הקטנה כוללת 1,000 שאילתות, בעוד הגרסה המלאה כוללת את כל 10,000 שאילתות הבסיס לכל שפה. אותו יחס נשמר גם בקובצי התקיפה שנלווים אליהם.
איך טוענים
טעינת המידע מתבצעת ישירות דרך ספריית datasets באמצעות ציון תת-המאגר הרצוי, למשל base_risk_set_en או attack_set_en. הקבצים שמורים בפורמט jsonl ונגישים להורדה מיידית ללא צורך בהרשאת גישה מיוחדת, כאשר המאגר מחולק לפי גדלים ושפות כך שתוכלו למשוך רק את הקובץ המתאים להיקף הבדיקה שלכם.
from datasets import load_dataset
ds = load_dataset("IS2Lab/S-Eval")הרישיון
הרישיון הוא CC BY-NC-SA 4.0, מה שאוסר באופן מוחלט כל שימוש מסחרי במאגר. אתם חייבים לתת קרדיט ליוצרים, ואם אתם משנים את הנתונים ומפיצים אותם, אתם מחויבים לפרסם תחת אותו רישיון בדיוק. המאגר מתאים למחקר אקדמי בלבד, ואסור לאמן עליו מודלים שמיועדים למוצר מסחרי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא