LochBot

הסקירה

מדביקים את ה־system prompt של הצ׳אטבוט שלכם לתוך תיבת טקסט בדפדפן, לוחצים על כפתור הניתוח, ותוך שבריר שנייה מקבלים ציון בין 0 ל־100 ורשימת חולשות אבטחה. LochBot לא שולח את הטקסט לשום שרת מרוחק וגם לא מריץ אותו מול מודל שפה פעיל. כל הבדיקה רצה מקומית על המחשב בעזרת JavaScript שמשווה את הניסוחים מול מאגר של 31 דפוסי תקיפה ידועים מתחום ה־prompt injection. הבדיקה הזו נשענת על מחקרים של OWASP, ומטרתה לגלות אם הוראות הבסיס שלכם כוללות מנגנוני הגנה מבניים או שהן פרוצות למניפולציות בסיסיות.

הניתוח בודק שבע קטגוריות שונות של סיכוני אבטחה, החל מניסיונות ישירים לעקוף הוראות ועד מניפולציות הקשר, התקפות קידוד וחילוץ מידע רגיש. בנוסף הוא בוחן אם הטקסט שלכם חסין בפני עקיפת תוחמים, מתקפות jailbreak בסגנון משחקי תפקידים כמו DAN, ודליפה של הפרומפט המקורי. מה שבאמת מפריע כאן הוא שאסור לטעות ולחשוב שמדובר בבדיקת חדירות של ממש. הכלי הזה בודק תחביר, לא התנהגות בפועל. אם הבוט שלכם חלש מול ניסוח ערמומי שלא מופיע ברשימת הדפוסים, הבדיקה הזו פשוט לא תדע על זה דבר.

זה לא עובד על קסמים.

איך הניתוח המבני עובד בפועל

במקום לנסות לפרוץ למודל, LochBot סורק את הנוכחות של רכיבי הגנה ספציפיים שהוכחו כיעילים במחקר. הוא מחפש תגיות XML שתוחמות את קלט המשתמש, הצהרות חד משמעיות על כך שהוראות המערכת קבועות ואסורות לשינוי, ודוגמאות סירוב ברורות שמסבירות לצ׳אטבוט איך להגיב לבקשות אסורות. המערכת מחפשת שלל הטיות של פעלים שאוסרים על חשיפת ההוראות וחוסמת שינויי תפקיד לפי שם. כל כשל כזה מדורג לפי חומרתו בארבע רמות מביקורתי ועד נמוך, ומשוקלל לציון סופי עם אות מדרגתית מ־A ועד F.

LochBot הוא רק מסננת ראשונית למבנה הטקסט ולא תחליף לבדיקת red team מול מודל פעיל. לכל בעיה שנמצאת בניתוח, תקבלו הצעת תיקון ממוקדת שתוכלו להדביק ישירות לתוך הפרומפט כדי לסגור את הפרצה. בסיום התהליך אפשר ללחוץ על כפתור הייצוא ולקבל קובץ JSON מסודר עם כל הפירוט של 31 הבדיקות, הציונים וההמלצות. הקובץ הזה שימושי בעיקר לצורכי תיעוד, עמידה ברגולציה בארגונים מסודרים, או שילוב אוטומטי כחלק מתהליך הפיתוח שלכם.

דוח הנתונים יורד מיד.

פרטיות מוחלטת ומגבלות השפה

כל הבדיקות מתבצעות בדפדפן בלי שום קריאת API ובלי שליחת נתונים לשרתים חיצוניים, כך שההוראות הסודיות של הבוט לא מסתובבות ברשת. קוד המקור של הכלי פתוח לבדיקה ב־GitHub, ואתם יכולים לפתוח את לשונית הרשת בדפדפן בזמן הניתוח ולוודא בעצמכם שאף בית לא יוצא החוצה. זה שווה את זה רק אם אתם עובדים עם פרומפטים באנגלית. מאחר שהמנוע מחפש ביטויים ספציפיים ומבנים לשוניים באנגלית, בדיקה של פרומפט שנכתב כולו בעברית תניב ציון נמוך ומטעה מאוד, כי המנוע פשוט יפספס את מילות המפתח המגנות.

בעברית זה פחות טוב.

מבחינת עלויות, הגישה באתר פתוחה וחינמית לחלוטין לשימוש ישיר דרך ממשק הרשת, ללא צורך בהרשמה או מסירת פרטי אשראי. החומרים של הפרויקט מזכירים קיומו של מסלול בתשלום אך אינם מפרטים מחירים, מדרגות או מה בדיוק נכלל בו. לא הייתי משתמש בזה כפתרון אבטחה יחיד למוצר שנמצא בייצור, אלא ככלי עזר מהיר שמסדר את הראש ומזכיר אילו הגנות בסיסיות שכחתם להוסיף. הוא מתאים למפתחים שרוצים לבדוק פרומפט לפני העלאה לענן, אך אינו מתאים למי שמחפש הדמיית תקיפה מלאה על בוט חי.

• מחיר כניסהחינם בדפדפן
• בדיקת התנהגותאין מול מודל
• קוד מקורזמין ב GitHub