SecureBERT

מה זה

מדובר בהתאמה ייעודית של ארכיטקטורת RoBERTa, שאומנה על כמות גדולה של טקסטים בתחום הסייבר ממקורות רשת שונים. המטרה העיקרית שלו היא לשמש בסיס למשימות עיבוד שפה בעולם האבטחה, כמו חילוץ ישויות של נוזקות, סיווג דוחות מודיעין איומים או מענה לשאלות מתוך תיעוד טכני.

לפי המפתחים, הוא מציג ביצועים טובים יותר ממודלים כמו RoBERTa הרגיל, SciBERT ואפילו SecBERT במשימות של השלמת מילים חסרות בטקסט אבטחתי. היתרון כאן הוא השילוב בין הבנה של ז'רגון מקצועי לבין שימור היכולת לנתח אנגלית כללית, בלי לאבד את ההקשר הדקדוקי הבסיסי.

מתאים ל

• סיווג דוחות איומים

  הבנת מושגי סייבר מורכבים בטקסט חופשי וסיווג אוטומטי של דוחות מודיעין.

• חילוץ ישויות אבטחה

  זיהוי שמות נוזקות, פגיעויות וקבוצות תקיפה מתוך פוסטים ומאמרי מחקר.

• מענה לשאלות טכניות

  בסיס למערכת ששולפת תשובות מתוך תיעוד אבטחה ארגוני פנימי.

איפה זה נופל

האימון התבסס על מידע שנאסף מהרשת, מה שאומר שהוא עלול להכיל מינוחים ישנים, אי דיוקים או הטיות שנפוצות בפורומים. עולם הסייבר משתנה מהר, ומודל שלא עובר עדכון שוטף לא יכיר וקטורי תקיפה חדשים לחלוטין. היוצרים מזהירים במפורש שהתוצאות שלו אינן מהוות סמכות מקצועית, ואסור להסתמך עליו לקבלת החלטות מבצעיות בלי עין של מומחה אבטחה.

איך מריצים

המודל שוקל 1.4 גיגה בייט בלבד, כך שלא צריך שרת מפלצתי בשביל להריץ אותו. אפשר להעלות אותו ישירות דרך ספריית transformers על מחשב פיתוח רגיל או על מעבד גרפי פשוט, ואפילו על מעבד מרכזי הוא יעבוד בקצב סביר למשימות נקודתיות.

הוא מיועד להרצה עצמית ולא דורש קריאות לשרתים חיצוניים. אם אתם עובדים בסביבה סגורה של ארגון ביטחוני או פיננסי, עדיף בהחלט להוריד את הקבצים ולעבוד מקומית במקום להוציא טקסטים רגישים דרך API חיצוני.

from transformers import pipeline

pipe = pipeline("fill-mask", model="ehsanaghaei/SecureBERT")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• optimizer.pt997.7 MB
• pytorch_model.bin498.9 MB
• tokenizer.json1.4 MB
• vocab.json814.5 KB
• merges.txt472.8 KB
• rng_state.pth21.9 KB
• trainer_state.json5.7 KB
• README.md5.7 KB
• training_args.bin2.9 KB
• .gitattributes1.4 KB
• tokenizer_config.json1.1 KB
• special_tokens_map.json772 B
• config.json707 B
• scheduler.pt623 B
• scaler.pt559 B

הרישיון

הרישיון הוא bigscience-openrail-m, שמתיר שימוש מסחרי ומחקר חופשי, אבל כפוף למגבלות שימוש אחראי. אסור להשתמש בו לייצור קוד זדוני, לטקטיקות תקיפה או לפעולות שמפרות חוק. למוצר פנימי שמנתח איומים הוא מתאים, כל עוד עומדים בתנאי השימוש ההוגן.

הרישיון המלא בעמוד המודל ↗