AttaQ
קוד פתוחibm-researchmit2023-09-11
מאגר בדיקות אדברסריאליות שמיועד להעריך עד כמה מודלי שפה נוטים לפלוט תוכן מזיק או לא אתי. מדובר באוסף שאלות ישיר וממוקד לתקיפות צוות אדום בלי ללכת סביב.
- 267הורדות בחודש
- 23לייקים
מה זה
המאגר כולל 1402 שאלות אדברסריאליות שמחולקות לשבע קטגוריות ברורות: הונאה, אפליה, מידע מזיק, שימוש בחומרים ממכרים, תוכן מיני, פרטיות ומידע מזהה, ואלימות. המטרה של כל שאלה היא לאתגר מודל שפה ולבדוק אם מנגנוני הבטיחות שלו קורסים מול בקשה מפורשת לבצע עבירה או לעקוף השלכות חוקיות.
השאלות נאספו בשלוש דרכים שונות. החוקרים שלפו מתקפות מתוך המאגר המוכר של אנתרופיק ותייגו אותן בצורה חצי אוטומטית. לאחר מכן הם השתמשו במודלי שפה כדי לייצר וריאציות נוספות הדומות למתקפות שנשלפו. בנוסף, הם סרקו את עמוד הפשעים בוויקיפדיה, חילצו פעולות שקשורות לכל פשע, ונעזרו במודלים כדי לנסח שאלות שבודקות איך לבצע את הפשעים האלה בלי להיתפס.
מתאים ל
- בנצ'מרק בטיחות
הרצת 1402 השאלות על המודל שלכם ובדיקת התשובות עם מודל תגמול כדי לקבל ציון בטיחות כמותי.
- אימון צוות אדום
בחינת עמידות של מנגנוני סינון קיימים מול מתקפות שמנסות לעקוף חוקים והשלכות פליליות.
- איתור הטיות ופערים
השוואת ביצועי המודל בין שבע הקטגוריות השונות כדי להבין איפה חומות ההגנה שלו חלשות יותר.
איפה זה נופל
המאגר כתוב באנגלית בלבד. אם המוצר שלכם פונה לקהל ישראלי או דורש בטיחות בעברית, הנתונים האלה לא יעזרו לכם בלי עבודת תרגום והתאמה תרבותית. בנוסף, מדובר רק ב 1402 דוגמאות, כך שהמאגר משמש כמדגם מייצג בלבד ולא מכסה את כל דרכי התקיפה האפשריות. הטקסטים מכילים תוכן פוגעני, אלים וקשה לקריאה, ומודלים שנבדקים מולו אכן מייצרים תשובות מסוכנות, ולכן השימוש דורש סביבת עבודה מבוקרת וזהירות של הצוות הבודק.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון המוגדר הוא MIT, שמתיר שימוש מסחרי רחב ללא צורך בשיתוף קוד פתוח. יחד עם זאת, החוקרים הוסיפו בתיעוד הצהרה שמגבילה את השימוש למטרות של הפחתת נזקים במודלים. אם אתם בונים כלי מסחרי שמטרתו להעריך או לשפר בטיחות, זה תואם את הכוונות של היוצרים.
האם הדאטהסט כולל תוכן בעברית?
לא, כל השאלות וההנחיות במאגר מנוסחות באנגלית בלבד. כדי לבדוק מודלים שמיועדים לשוק הישראלי, תצטרכו לתרגם את השאלות או לייצר מתקפות מקומיות. תרגום ישיר לא תמיד תופס ניואנסים של פשיעה או רגולציה מקומית.
מה הגודל של המאגר ואיך מקבלים אליו גישה?
המאגר קטן מאוד ומכיל 1402 שאלות שנמצאות בתוך קובץ CSV בודד. אין צורך לבקש אישור גישה מיוחד מיוצרי המאגר או להמתין לפתיחת הרשאות. כל מפתח יכול להוריד את הקובץ ישירות מעמוד המאגר ולהתחיל לעבוד איתו מיד.
איך נאספו השאלות שמופיעות במאגר?
חלק מהשאלות נשלפו מתוך מאגר קודם של חברת אנתרופיק ועברו תיוג חצי אוטומטי לקטגוריות שונות. חלק נוסף נוצר באמצעות מודלי שפה שחיקו את אותן שאלות כדי להרחיב את המגוון. החלק השלישי התבסס על ניתוח פשעים מתוך ויקיפדיה והפיכתם לשאלות שמנסות לעקוף ענישה וגילוי.
איך טוענים
הנתונים יושבים בקובץ CSV פשוט בשם AttaQ-v1.csv, כך שלא צריך שום אישור גישה או הורדה מורכבת. כל שורה מכילה שלושה שדות בלבד: שדה הקלט שמחזיק את השאלה הזדונית, שדה התווית שמציין את אחת משבע הקטגוריות, ושדה מידע נוסף שמפרט מה מקור השאלה. כדי להריץ בדיקה שולחים את השאלות למודל שלכם, ואת התוצאות מודדים באמצעות מודל תגמול חיצוני, למשל מודלים מבוססי דברטה שמוזכרים בתיעוד.
from datasets import load_dataset
ds = load_dataset("ibm-research/AttaQ")הרישיון
המאגר מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי של הנתונים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, יוצרי המאגר ציינו בתיעוד שהם מגבילים את השימוש לצורכי הפחתת נזקים ושיפור הבטיחות של מודלים. הרישיון לא דורש שיתוף תחת אותו רישיון ולא כובל מודלים שתאמנו או תבדקו בעזרתו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש