cybersecurity_32k_instruction_input_output
קוד פתוחVanessasmlרישיון לא דווח2024-04-19
המאגר מרכז 32 אלף דוגמאות אימון באנגלית להוראות, קלט ופלט בתחום הסייבר. הוא מיועד למי שרוצה לאמן מודלים על סיווג סיכוני אבטחה לפי תקני NIST והנחיות ה־EBA.
- 774הורדות בחודש
- 19לייקים
מה זה
הנתונים מורכבים משאלות ותשובות שמחולקות לארבעה מקורות שונים, המסומנים בעמודה ייעודית. החלק הראשון מכיל דוחות ציבוריים על סיכוני מחשוב שנאספו בידי אדם. החלק השני והשלישי כוללים שילוב של דוחות וחדשות שעובדו באמצעות GPT4, ומתמקדים בשאלות סביב תקני EBA ומיון NIST. החלק הרביעי מבוסס על חדשות מפרויקט CASIE ומתמקד בזיהוי איומי סייבר בזמן אמת.
מקורות המידע כוללים דוחות אבטחה של חברות כמו גוגל, סיסקו, מיקרוסופט ומנדיאנט מהשנים 2020 עד 2023, לצד נתונים מאתר סוכנות הסייבר האירופית ENISA. כל רשומה כוללת את ההוראה, את טקסט המקור ואת התשובה, כאשר התשובות עצמן הופקו על ידי מודל של OpenAI לפי פורמט הפרומפטים של LLaMA.
מתאים ל
- אימון מודל לסיווג NIST
התאמת מודלים פתוחים למיון אירועי אבטחה לפי הטקסונומיה המוכרת של NIST.
- זיהוי איומים מדיווחי חדשות
חילוץ ישויות וסיווג מתקפות מתוך טקסטים חדשותיים המבוססים על מאגר CASIE.
- הערכת סיכוני IT לפי תקן אירופי
בניית כלי עזר לבדיקת תאימות להנחיות ה־EBA על בסיס דוחות ניתוח קיימים.
איפה זה נופל
הבעיה המרכזית היא שרוב התשובות נוצרו בעזרת GPT, מה שמביא איתו הזיות אפשריות והטיות של המודל המקורי. בנוסף, כל החומרים באנגלית בלבד ואין כאן ייצוג לעברית או לאיומים מקומיים. הדוחות מכסים תקופה שנעצרת ב־2023, כך שנושאים חדשים יותר או מתקפות מהשנה האחרונה פשוט לא מופיעים כאן. לפני שמכניסים דבר כזה למערכת פעילה, חייבים לבדוק ידנית את איכות הפלטים מול אנשי סייבר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ כרגע. הדאטהסט פורסם ללא רישיון רשמי, מה שמשאיר את זכויות היוצרים מעורפלות. בנוסף, הפלטים הופקו על ידי GPT, מה שעלול להגביל שימוש מסחרי לפי תנאי השירות של OpenAI.
האם יש במאגר נתונים בעברית?
לא. כל הנתונים, הדוחות והידיעות החדשותיות נאספו באנגלית בלבד. אם המטרה היא מודל שמבין טקסטים ביטחוניים בעברית, תצטרכו לתרגם את המאגר או לאסוף מידע מקומי בעצמכם.
איך נאסף המידע למאגר?
היוצרת שילבה 19 דוחות סייבר ציבוריים של חברות מובילות, יחד עם גירוד נתונים מאתר ENISA ומאגר החדשות CASIE. התשובות וההוראות נבנו ברובן בעזרת GPT4 וסודרו לפי פורמט של מודל LLaMA.
איך טוענים
טוענים את המאגר ישירות מ־Hugging Face בעזרת ספריית datasets הרגילה בפייתון. הוא שמור בקובץ Parquet בודד תחת תיקיית המידע, ללא צורך באישור גישה מוקדם או בהרשמה מיוחדת. השדות המרכזיים שמעניינים אתכם הם instruction, input ו־output, יחד עם חלוקת המקורות לפי ds. כדאי לזכור שהטקסטים הותאמו מראש למבנה הקלטים של LLaMA, כך שאם אתם עובדים עם ארכיטקטורה אחרת תצטרכו להתאים את הניסוח.
from datasets import load_dataset
ds = load_dataset("Vanessasml/cybersecurity_32k_instruction_input_output")הרישיון
היוצרת לא הגדירה רישיון לשימוש במאגר. מבחינה משפטית, היעדר רישיון אומר שאין לכם היתר מפורש להשתמש בחומרים, בוודאי שלא למטרות מסחריות או לאימון מודל שמיועד למכירה. אם אתם בונים כלי פנימי או מוצר לחברה, מדובר בסיכון משפטי ברור.