cti-bench
קוד פתוחAI4Seccc-by-nc-sa-4.02024-06-12
מאגר לבדיקת ביצועים של מודלי שפה בניתוח מודיעין איומי סייבר. החבילה מרכזת שאלות ידע ומשימות מעשיות ממקורות כמו תקני אבטחה, דיווחי תקיפה ומאגרי חולשות מוכרים.
- 1,523הורדות בחודש
- 20לייקים
מה זה
המאגר מחולק לקובצי TSV שמייצגים משימות שונות בעולם מודיעין הסייבר. החלק הראשון מכיל שאלות רב ברירה על תקנים מוכרים כמו NIST, MITRE ו־GDPR, שבודקות תיאוריה, אסטרטגיות זיהוי ותוכניות מניעה. חלקים אחרים בוחנים יישום מעשי, כמו מיפוי בין תיאורי פגיעויות של CVE לקטגוריות חולשה של CWE, וחישוב ציוני חומרה לפי תקן CVSS.
משימה נוספת מתמקדת בניתוח דוחות איומים פומביים במטרה לשייך אותם לקבוצות תקיפה או משפחות נוזקה ספציפיות. הנתונים נאספו ישירות מדוחות פומביים ומתקני התעשייה, והקובצים כוללים קישורי מקור שמהם נשלף המידע לצורך בדיקה והשוואה מול תשובות האמת.
מתאים ל
- בדיקת ידע בתקני סייבר
הרצת שאלות רב ברירה על בסיס תקני NIST ו־GDPR כדי לבדוק שליטה בחוקים ושיטות מניעה.
- סיווג חולשות לפי תקנים
בחינת יכולת המודל לקרוא תיאור פגיעות של CVE ולהתאים אותו לחולשת CWE מתאימה.
- חישוב מדדי חומרת אבטחה
בדיקה אם המודל מסוגל להעריך תיאורי סיכונים ולהפיק ציון מדויק לפי מודל הניקוד CVSS.
- שיוך תקיפות ודוחות מודיעין
הזנת דוחות פריצה פומביים לבדיקת הזיהוי של קבוצות תקיפה מוכרות ומשפחות נוזקה.
איפה זה נופל
כל הנתונים במאגר מנוסחים באנגלית בלבד ומבוססים על חומרים פומביים. אם אתם מחפשים להעריך מודל על דיווחי סייבר בעברית, המאגר הזה לא ייתן לכם מענה ישיר. מעבר לזה, חלק המשימות מסתמך על נתונים היסטוריים ודוחות עבר, מה שאומר שהוא בודק התאמה לתקיפות ישנות יותר ולא בהכרח לאיומים שצצו בחודשים האחרונים.
נקודה נוספת שדורשת תשומת לב היא היעדר עמודת תשובות אמת בקובץ cti-taa שמיועד לשיוך תוקפים. בלי עמודת האמת בתוך הקובץ, תצטרכו להסתמך על הקוד החיצוני בגיטהאב כדי להבין איך לבדוק את התוצאות של המודל שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון מסוג cc-by-nc-sa אוסר במפורש שימוש מסחרי. המאגר מתאים לפרויקטי מחקר, ניסויים פנימיים או השוואת ביצועים באקדמיה. אם המטרה היא לאמן או לבחון מודל שיוטמע במוצר שנמכר ללקוחות, הנתונים האלה לא מתאימים מבחינה משפטית.
האם יש במאגר דוחות או שאלות בעברית?
אין במאגר עברית בכלל, כל התוכן מוגדר וכתוב באנגלית. הטקסטים נלקחו מתקנים בינלאומיים ומדוחות פומביים גלובליים שנוסחו באנגלית. אם אתם עובדים על מערכת שמיועדת לקרוא התראות או דוחות שנכתבו במקור בעברית, תצטרכו לתרגם את המאגר או להרכיב בנצ'מרק מקומי משלכם.
מאיפה המידע הגיע ואיך הוא אומת?
החוקרים אספו את החומרים ממקורות רשמיים ומוסמכים בתחום כמו תיעוד של NIST, מסגרות עבודה של MITRE ותקנות GDPR. המשימות המעשיות מבוססות על נתוני CVE ודוחות תקיפה פומביים, ובקובצי המאגר מופיעים קישורי מקור שמהם נשלפו הנתונים.
באיזה פורמט המידע שמור ואיך ניגשים אליו?
הנתונים מחולקים לחמישה קובצי TSV פשוטים שכל אחד מהם מייצג סוג משימה אחר. בכל קובץ יש עמודת שאלה ועמודת תשובה, למעט קובץ אחד שבו חסרה עמודת התשובות. אפשר לטעון את הקבצים ישירות לתוך קוד פייתון בלי צורך בהתקנות מורכבות או תהליכי עיבוד מקדימים.
איך טוענים
אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה ישירה מחבלי Hugging Face או ממאגר הגיטהאב של הפרויקט. הנתונים שמורים כקובצי TSV נפרדים לכל משימה, כך שאפשר לטעון אותם בקלות עם ספריות פייתון סטנדרטיות כמו פנדס.
בכל קובץ תמצאו עמודת Prompt שמכילה את השאלה או ההוראה למודל. ברוב הקבצים מופיעה גם עמודת GT עם תווית האמת לצורך ניקוד, חוץ מקובץ השיוך cti-taa.tsv שבו עמודת האמת אינה מופיעה לפי הכרטיס, ואת סקריפטי ההערכה צריך לקחת מהגיטהאב.
from datasets import load_dataset
ds = load_dataset("AI4Sec/cti-bench")הרישיון
המאגר שוחרר תחת רישיון cc-by-nc-sa-4.0. המשמעות ברורה וחדה: מותר להשתמש בו למחקר ולצרכים אישיים בלבד, אבל אסור לעשות בו שימוש מסחרי מכל סוג. בנוסף, חובה לתת קרדיט ליוצרים, ואם אתם משנים את הנתונים ומפיצים אותם הלאה, אתם מחויבים לפרסם את הגרסה החדשה תחת אותו הרישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא