All-CVE-Chat-MultiTurn-1999-2025-Dataset
קוד פתוחTrendyolapache-2.02025-06-12
מאגר שיחות מובנה לאימון מודלים על כמעט כל חולשת אבטחה שפורסמה בעולם. הוא חוסך את העבודה הסיזיפית של גירוד ופירסור נתוני פגיעויות גולמיים לפורמט צ'אט מוכן.
- 84הורדות בחודש
- 32לייקים
מה זה
המאגר מאגד בתוכו כ־300,000 רשומות של חולשות אבטחה שפורסמו בין השנים 1999 ל־2025. הנתונים נמשכו ישירות מהזנות רשמיות של CVE בפורמטי XML ישנים ובפורמטי JSON מודרניים יותר. צוות הפיתוח העביר את המידע דרך תהליך עיבוד וסינון שכלל בדיקות תקינות סכמה, הסרת כפילויות ובדיקות ידניות מדגמיות.
כל רשומה עברה העשרה בנתוני ציוני חומרה, סיווגי חולשות לפי טקסונומיית CWE, ומטריצות של מוצרים ורכיבים מושפעים. במקום להשאיר את המידע כמסמך יבש, הוא הומר למבנה של שיחה טכנית בין מומחה אבטחה למשתמש.
החלוקה הפנימית מפרידה את הנתונים לשלושה חלקים ברורים. שמונים אחוז מהרשומות, 240,000 שורות, מיועדות לאימון המודל. עשרה אחוזים נוספים, בדיוק 30,000 רשומות, שמורים לוולידציה, ועוד 27,441 רשומות מיועדות למבחן ביצועים סופי.
מתאים ל
- אימון מודל לניתוח חולשות
כוונון עדין של מודלי שפה לסיווג חומרת פגיעויות והצעת דרכי תיקון מהירות.
- בסיס ידע למערכות RAG
שליפת מידע מדויק ומתוייג על CVE ספציפי עבור סוכני אבטחה אוטומטיים.
- מחקר מגמות אבטחה
ניתוח היסטורי של התפתחות וקטורי תקיפה על פני עשרים וחמש שנות דיווחי חולשות.
איפה זה נופל
הטקסט כולו באנגלית בלבד, כך שאם אתם בונים כלי שמיועד לחוקרים שכותבים דוחות בעברית, המודל יצטרך התאמה נוספת. מעבר לכך, המבנה מבוסס על שבלונה קבועה שנוצרה על ידי הזרקת פרומפטים מובנים, ולא משיחות אמיתיות בין אנשי סייבר. זה אומר שיש סכנה ממשית להתאמת יתר לנוסח השאלות הספציפי. אם משתמש יפנה למודל בצורה מרושלת או עם שגיאות ניסוח שלא מופיעות בתבנית, התשובות עלולות להיות פחות מדויקות. בנוסף, חולשות ישנות משנות האלפיים המוקדמות כוללות פחות הקשר מודרני מחולשות עדכניות.
שאלות
נפוצות
מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, רישיון Apache 2.0 מאפשר שימוש מסחרי מלא ללא תשלום תמלוגים. אתם יכולים לאמן עליו מודלים ולשלב אותם במוצרים מסחריים, בתנאי שאתם שומרים על תנאי הייחוס של הרישיון.
האם הדאטהסט כולל תוכן בעברית?
לא, כל הנתונים מוגדרים תחת השפה האנגלית בלבד. הדיווחים המקוריים של מאגרי ה־CVE והפרומפטים שנוצרו נכתבו באנגלית טכנית.
איך נאסף המידע ואיך הוא עובד לשיחות?
היוצרים אספו קובצי הזנה רשמיים של CVE משנת 1999 ועד 2025 ועיבדו אותם באמצעות קוד ייעודי. לאחר מכן הוסיפו שכבת העשרה של ציוני CVSS וסיווגי CWE, והזריקו פרומפטים כדי לבנות מבנה שיחה של משתמש ועוזר.
מה מייחד אותו ממאגרי CVE גולמיים אחרים?
רוב המאגרים ברשת מספקים רשומות JSON או XML טכניות ויבשות הדורשות ניקוי כבד. כאן המידע כבר מנוקה ומעוצב מראש כמערכי שיחה רב-שלביים שמוכנים ישירות לאימון מודלי צ'אט.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בלי צורך בבקשת גישה מיוחדת או אישור מקדים. הקובץ המרכזי יושב בפורמט JSON Lines, כך שקל להזרים אותו בלי לטעון הכל לזיכרון בבת אחת. בכל שורה תמצאו בדיוק שלושה שדות: System שמגדיר את תפקיד המומחה, User שמציג את השאלה או הבקשה הטכנית, ו־Assistant שמכיל את התשובה המלאה עם כל פרטי ה־CVE וההעשרות. שיחות מרובות תורות מפוצלות לשורות נפרדות שחולקות את אותו שדה מערכת.
from datasets import load_dataset
ds = load_dataset("Trendyol/All-CVE-Chat-MultiTurn-1999-2025-Dataset")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המוכר והנוח. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו, ולאמן עליו מודלים פנימיים או מוצרים שנמכרים ללקוחות. אין חובה לשתף את הקוד שלכם או את המודל המאומן תחת אותו רישיון. הדרישה העיקרית היא לשמור על הודעת זכויות היוצרים המקורית והצהרת הרישיון בתוצרי ההפצה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים