מיקרוסופט דורשת בלם חירום לסוכנים ושוכחת לחלק אותו
סאטיה נאדלה קורא לחברות לעצור סוכני AI באמצע משימה בעזרת בלם חירום חיצוני, בזמן שמיקרוסופט עצמה מחברת אותם עמוק לתוך מערכות ההפעלה.
- נתקו הרשאות כתיבה ישירות מכל סוכן אוטונומי וחייבו מעטפת בקרה חיצונית עם אישור אנושי לפני ביצוע פעולות קריטיות.
אם חיברתם לאחרונה סוכן אוטונומי למסד נתונים פנימי והרגשתם קצת לא בנוח, מסתבר שאתם בחברה טובה. מנכ"ל Microsoft, סאטיה נאדלה (Satya Nadella), פרסם אתמול הצהרה מפורטת שמנפצת את האשליה שמישהו בתעשייה באמת שולט במה שקורה בתוך מודלי שפה גדולים. לפי דיווחים שפורסמו ב-The Verge וב-TechCrunch, נאדלה קורא לעולם לנטוש את היחס למודלים כאל קופסאות שחורות סגורות שאת פלטיהן מאשרים בעיניים עצומות. במקום זה, הוא מציע גישה הנדסית מחמירה בהרבה: להניח מראש שכל מודל כבר נפרץ, מבוסס תפיסת Assume Compromise המוכרת מעולמות הסייבר.
עבור מנהלי אבטחת מידע וארכיטקטי תוכנה שבונים כעת אינטגרציות פנים-ארגוניות, המילים הללו הן לא עוד פילוסופיה של סוף שבוע בטוויטר, אלא הוראת עבודה מחייבת. אם המודל עצמו נחשב לעוין או לפגיע בהגדרה, אי אפשר להסתמך עוד על פרומפטים שמרגיעים אותו או על סינוני תוכן רכים שנשענים עליו. ארגון שמתכנן אוטומציות מבוססות סוכנים חייב להבין שרמת הוודאות הפנימית של המודל שווה לאפס, והגבולות האמיתיים יכולים להתקיים אך ורק מחוצה לו.
ההנחה שמשנה את הכללים
זה שינוי כיוון חד.
הדרישה המרכזית שמעמיד נאדלה בפני מפתחי תוכנה היא בידוד מוחלט. במקום לתת למודל לנהל את המשימה ולבצע קריאות רשת ישירות, יש לייצר הפרדה מלאה בין המודל לבין מעטפת התזמור שלו. השליטה, מנגנוני ההגנה והאבטחה אינם יכולים לשבת כהנחיות טקסט בתוך השיחה, אלא חייבים להיבנות כקוד תשתיתי חיצוני שמפקח על כל צעד. עלינו להניח שמודל הוא פרוץ ולבודד אותו כבר מההתחלה, כתב נאדלה בפוסט המקורי שלו, והוסיף כי יש לחשוב על המנגנון כאל בלם חירום תעשייתי לכל דבר ועניין.
עלינו להניח שמודל הוא פרוץ ולבודד אותו כבר מההתחלה. חשבו על זה כמו על בלם חירום. אדם מורשה חייב להיות מסוגל תמיד לעצור או לכבות מודל באמצע ביצוע משימה.סאטיה נאדלה, מנכ"ל Microsoft
לפי הדיווחים על דבריו של נאדלה, הגישה כוללת יכולת לעצירה מיידית של משימה תוך כדי ריצה, הפרדה של המודל ממעטפת התזמור שלו, ותיעוד פעולות בלתי מחיק שקריא לבני אדם. התיעוד הזה אמור לשמר ראיות ברורות לכל פעולה משמעותית שהסוכן ביצע או התכוון לבצע, כך שבדיקה אנושית תוכל לזהות חריגה לפני שהנזק הופך לבלתי הפיך.
מבנה הבלם לפי נאדלה
הרעיון של בלם חירום נשמע מצוין על הנייר, אך הוא מייצר מתח ישיר מול האוטונומיה שמבטיחים לנו יצרני הכלים. ככל שסוכן AI נדרש לעצור, להמתין לאישור אנושי, או לרוץ דרך שרשרת סינון מורכבת שבודקת כל קריאת API, מהירות הביצוע שלו נשחקת. עם זאת, התקריות האחרונות בתעשייה הוכיחו שסוכנים שלא נבלמו גרמו לנזקים מוחשיים, החל משליחת מידע כוזב ועד ביצוע פעולות שגויות במערכות פנימיות.
לא הייתי ממהר לסמוך על ההבטחות של החברות הגדולות בעניין הזה.
כאן גם מתגלה הפער המטריד שבין מילים למעשים ברדמונד. נאדלה דורש מהתעשייה להציב גבולות חיצוניים קשיחים, אבל מוצרי הדגל של Microsoft צועדים בדיוק בכיוון ההפוך. החברה ממשיכה לקשור סוכנים ישירות לתוך מערכת ההפעלה Windows ולתוך יישומי Office, במקום להפריד ולבודד אותם מהמערכת כפי שדורש המנכ"ל.
הפער בין ההצהרות למוצרים
בהודעה ובדיווחים לא הוצג שום כלי מובנה, תקן הנדסי פתוח או ממשק תכנות ייעודי בענן של Azure שמממש את אותו בלם חירום מדובר. מפתחים שרוצים ליישם כיום את החזון של נאדלה נאלצים לכתוב קוד מותאם אישית מאפס, לבנות פרוקסי חיצוני שמנטר שיחות, ולנהל שרתי לוגים מבודדים בעצמם. כשחברה מסחרית קוראת להקמת מנגנוני בידוד מתקדמים אך לא מספקת את התשתית הטכנולוגית הבסיסית כדי לבצע אותם בפלטפורמת הענן שלה, המסר נותר בעיקר הצהרתי.
המרחק בין ההצהרה למימוש נשאר גדול.
בקהילת הסייבר ואבטחת הענן בישראל, שחלק משמעותי ממנה מתמקד בהגנה על תשתיות ארגוניות וסביבות עבודה מודרניות, ההצהרה הזו מחדדת בעיקר את גודל ההזדמנות והאחריות. כל עוד ספקיות המודלים הגדולות אינן כוללות מתגי ניתוק תקניים בקוד, כובד המשקל עובר לשכבות ההגנה ההיקפיות שמפתחים צוותי האבטחה בתוך הארגונים עצמם.
מה לבדוק לפני שמחברים סוכן
אם אתם אחראים על ארכיטקטורת התוכנה בארגון, המסקנה המיידית היא לא להעניק לסוכן AI שום הרשאת כתיבה ישירה או גישה ישירה למערכות ליבה בלי שער בקרה אנושי חיצוני. יש להקים שרת גישור עצמאי שאינו תלוי במודל, אשר קולט את הפקודות, מאמת אותן מול חוקי עסק קשיחים, ומחייב אישור ידני לפני ביצוע שינוי בבסיס הנתונים או שליחת הודעה חיצונית.
בנוסף, מומלץ לוודא שיומן הפעולות נכתב למערכת אחסון חיצונית שאינה נגישה למודל עצמו לעריכה, כדי למנוע אפשרות של מחיקת עקבות בעת פעולה שגויה. עד שמיקרוסופט או מתחרותיה יספקו API אחיד לבלימת סוכנים, אל תבנו על זה שהמודל יבלום את עצמו. בינתיים, כפתור החירום עדיין דורש מכם לבנות את החוטים בעצמכם.
מה שואלים על זה
- Satya Nadella says we should assume all AI models are ‘compromised’theverge.com · המקור
- Microsoft’s Satya Nadella says AI models need an ‘emergency brake’techcrunch.com · המקור
12 עובדות בכתבה נבדקו אחת־אחת מול המקורות המקושרים ומול חיפוש ברשת ב־11 באוקטובר 2026. מה שלא אומת הוסר או מסומן כטענה של החברה. הכתיבה נעשתה בעזרת AI מהמקורות האלה בלבד, בעריכה ובאחריות של סלבה מלנדוביץ׳. טעות? כתבו לנו.