SecEval
קוד פתוחXuanwuAIרישיון לא דווח2023-12-20
מאגר מבחן עם מעל 2,000 שאלות רב-ברירה באבטחת מידע שנוצרו באמצעות בינה מלאכותית ממקורות מקצועיים. הוא מיועד למי שרוצה לבדוק ידע תיאורטי של מודלי שפה בתחומי סייבר שונים.
- 1,551הורדות בחודש
- 26לייקים
מה זה
המאגר מכיל 2,126 שאלות אמריקאיות שמכסות תשעה תחומים שונים, כולל אבטחת מערכות, אבטחת רשת, פנטסטינג והצפנה. הנתונים מבוססים על חומרי לימוד פתוחים מקורסים של ברקלי ו־MIT, תיעוד טכני רשמי של חברות כמו אפל, מיקרוסופט וגוגל, מדריכים של מוזילה ו־OWASP, ומאגרי תקנים מוכרים כמו CWE ו־MITRE ATT&CK.
יוצרי המאגר פירקו את הטקסטים הללו לפי מבנה היררכי, דגמו מתוכם נושאים, והשתמשו ב־GPT-4 כדי לנסח את השאלות והתשובות. לאחר מכן הם הפעילו שוב את המודל כדי לסנן שאלות פשוטות מדי או תלויות הקשר, וביצעו כיול לתשובות כדי לוודא שאינן מעורפלות ושניתן להגיע לתשובה חד-משמעית על סמך טקסט המקור בלבד.
מתאים ל
- מבחן ביצועים למודלים
הרצת בדיקה השוואתית לבחינת ידע תיאורטי של מודלי שפה באבטחת מידע לפי ציוני תקן מוגדרים.
- בדיקת זיכרון טכני
בדיקת יכולת המודל לשלוף פרטים מתוך תיעודי אבטחה של מערכות הפעלה ותקני MITRE.
- סינון תשובות מודל
בניית כלי אימות לתשובות מקצועיות בנושאי בדיקות חדירה ואבטחת אפליקציות.
איפה זה נופל
חלוקת השאלות אינה מאוזנת כלל, ויש פערים קיצוניים בין הנושאים. בעוד שאבטחת מערכות כוללת 1,065 שאלות, תחום הקריפטוגרפיה כולל 14 שאלות בלבד ותחום בטיחות הזיכרון כולל 48 שאלות, מה שהופך מדדים בנושאים אלה לבעלי מובהקות סטטיסטית נמוכה מאוד. בנוסף, חסרים תחומים שלמים כמו ניתוח נוזקות והנדסה לאחור, וכל השאלות נוסחו בידי מודל שפה ולא בידי מומחי אבטחה אנושיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון המוגדר בקובץ הוא CC BY-NC-SA 4.0 שאינו מתיר שימוש מסחרי. כל אימון של מודל המיועד למוצר מסחרי או מכירת שירות המבוסס עליו מהווים הפרה של תנאי השימוש. המאגר מיועד למחקר אקדמי ולהשוואות ביצועים פנימיות בלבד.
האם יש במאגר שאלות בעברית?
אין במאגר עברית בכלל. כל חומרי המקור, המדריכים והתיעודים נלקחו באנגלית, ו־GPT-4 יצר את כל השאלות והתשובות בשפה זו בלבד. אם יש צורך בהערכת ביצועים בעברית, תידרש עבודת תרגום והתאמה עצמאית.
מאיפה הנתונים נאספו והאם עברו בדיקה אנושית?
החומרים מבוססים על ספרי לימוד מאוניברסיטאות כמו ברקלי ו־MIT, תקני OWASP, מדריכי מיטר ותיעודי אבטחה של אפל ומיקרוסופט. תהליך יצירת השאלות, הסינון והכיול נעשה כולו באופן אוטומטי באמצעות GPT-4 ללא תיעוד של בקרת איכות אנושית ידנית.
כמה שטח אחסון נדרש כדי להוריד את הקובץ?
המאגר קטן מאוד וכולל קובץ JSON בודד המכיל 2,126 שאלות. משקל הקובץ עומד על מגה-בייטים בודדים, כך שניתן להוריד ולטעון אותו לזיכרון המחשב תוך שניות ספורות בלי תלות בחומרה מיוחדת.
איך טוענים
טוענים את המידע ישירות מתוך קובץ questions.json שנמצא במאגר, או מורידים אותו ישירות באמצעות פקודת wget בלי צורך באישור גישה מקדים. כל רשומה כוללת מזהה ייחודי, מקור הטקסט שממנו השאלה נוצרה, גוף השאלה, רשימת אפשרויות בחירה, התשובה הנכונה, נושאים מתאימים ומילת מפתח מדויקת לנושא הנבדק.
from datasets import load_dataset
ds = load_dataset("XuanwuAI/SecEval")הרישיון
למרות שבמטא-דאטה של Hugging Face נרשם שלא דווח רישיון, בטקסט עצמו מוגדר רישיון CC BY-NC-SA 4.0 לדאטהסט ורישיון MIT לקוד. המשמעות היא איסור מוחלט על שימוש מסחרי מכל סוג, חובת מתן קרדיט ליוצרים, ודרישה לשתף נגזרות תחת אותו רישיון מגביל בדיוק. לא מומלץ לאמן על המידע הזה מודל שמיועד להפצה מסחרית.