hackerone_disclosed_reports
קוד פתוחHacker0x01רישיון לא דווח2024-05-16
דיווחים אמיתיים שנחשפו בפלטפורמת HackerOne, עם תיאורי חולשות וצעדים לשחזור. מקור נדיר לטקסט אבטחת מידע אותנטי מתוכניות באג באונטי.
- 477הורדות בחודש
- 34לייקים
מה זה
המאגר מרכז דיווחי אבטחה שנחשפו לציבור מתוך הפלטפורמה של HackerOne. כל רשומה כוללת פרטים על החולשה שנמצאה, שלבי שחזור מדויקים ופעולות תיקון שננקטו מול צוותי הפיתוח.
התוכן מבוסס כולו על מקרים אמיתיים שנבדקו ונסגרו מול חברות, ולא על תרחישים תיאורטיים או מעבדות מבוקרות. הנתונים מחולקים מראש לשלושה קבצים נפרדים של אימון, בדיקה ואימות, כך שאפשר לגשת ישר לעבודה על אלגוריתמים לסיווג או ניתוח חולשות בלי לפצל ידנית.
הכרטיס לא מפרט תהליכי סינון, ניקוי רעשים או הסרת פרטים מזהים מתוך הדיווחים המקוריים, מלבד העובדה שמדובר בדיווחים שפורסמו רשמית. המשמעות היא שרמת הפירוט, הניסוח וסגנון הכתיבה משתנים לחלוטין בין רשומה לרשומה, בהתאם לחוקר שכתב אותה ולחברה שאישרה את החשיפה.
מתאים ל
- אימון מסווגי חולשות
בנייה והערכה של מודלים שמזהים סוגי פגיעויות מתוך טקסט חופשי של דיווחי אבטחה.
- מחקר דפוסי תקיפה
ניתוח מגמות של פערי אבטחה ושלבי שחזור נפוצים כדי להבין שיטות דיווח ותיקון.
- בדיקת כלי אבטחה
הרצת סקריפטים ואוטומציות לבדיקת עמידות מול תרחישי תקיפה אמיתיים מהשטח.
איפה זה נופל
הטקסטים כתובים בעיקר באנגלית, כך שאין כאן מענה למי שמחפש חומרים בעברית או בשפות אחרות. מעבר לזה, הכרטיס לא מציין תאריכי חיתוך, כמות רשומות מדויקת או באילו שדות ספציפיים מדובר. יש פה הטיה מובנית לחולשות נפוצות בתוכניות ציבוריות, בלי מידע על חולשות שלא נחשפו או תוכניות פרטיות. לפני שמשלבים את המידע באימון של כלי אוטומטי, צריך לוודא שאין בפנים שברי קוד מזיקים או טקסטים לא מפוקחים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
המאגר לא כולל רישיון קוד פתוח סטנדרטי אלא מפנה לתנאי השימוש של HackerOne. במצב כזה אי אפשר להניח שמותר להשתמש בו למוצר מסחרי, וצריך לקרוא את התנאים שלהם לפני שמאמנים עליו מודל.
האם יש בדיווחים טקסטים בעברית?
לא, הכרטיס מציין שהדאטהסט מבוסס בעיקר על אנגלית. ייתכן שיש אזכורים בודדים בתוך נתוני גלישה או צילומי מסך, אבל המאגר כולו מיועד למחקר באנגלית.
באיזה פורמט הקבצים מגיעים ואיך פותחים אותם?
הנתונים נשמרים בקבצי Parquet שמחולקים מראש לסטים של train, test ו־validation. אפשר לטעון אותם בקלות בפייתון עם פנדס או דרך ספריית datasets.
איך המידע הזה נאסף?
הנתונים נמשכו ישירות מתוך דיווחי אבטחה שנחשפו לציבור באתר HackerOne. הם כוללים את התיאור המקורי שמסר החוקר, צעדי השחזור והפעולות שבוצעו לתיקון הפגיעות.
איך טוענים
הנתונים יושבים בשלושה קבצי Parquet שמחולקים לסטים של train, validation ו־test, יחד עם קובץ README. אפשר לטעון אותם ישירות דרך ספריית datasets בלי צורך בבקשת גישה מיוחדת, כיוון שהמאגר פתוח להורדה. לפני שמתחילים לרוץ על הכל כדאי לבדוק את מבנה שדות הטקסט של התיאור ושלבי השחזור, כי הם מכילים טקסט חופשי ולא אחיד שדורש עיבוד מקדים.
from datasets import load_dataset
ds = load_dataset("Hacker0x01/hackerone_disclosed_reports")הרישיון
הרישיון הרשמי לא דווח במאגר, ובמקומו יש הפניה לתנאי השימוש של HackerOne. המשמעות היא שאין היתר מפורש לשימוש מסחרי או לאימון מודלים סגורים, וכל שימוש כזה דורש בדיקה משפטית מול התקנון של הפלטפורמה כדי לא להפר זכויות יוצרים של החוקרים או החברות.