North 2 של Cohere מוציאה את סוכני ה-AI מהענן ישירות למרתף

סוכני AI הם רעיון נהדר עד שהמידע העסקי צריך לצאת לשרתים של ספק זר. גופים ביטחוניים, בנקים ומשרדי ממשלה בישראל מסתכלים על גל האוטומציה הנוכחי מרחוק, בעיקר כי שליחת מסמכים פנימיים ל-API חיצוני היא עבירת אבטחה חמורה. עכשיו Cohere הציגה את North 2, גרסה חדשה לפלטפורמת הניהול שמנסה לפתור בדיוק את המלכודת הזאת. לפי ההודעה, המערכת מביאה סוכנים אוטונומיים לתשתיות פרטיות, כולל התקנה מקומית וסביבות מנותקות רשת לחלוטין.

המערכת מיועדת למי שרוצה לבנות תהליכי עבודה מרובי שלבים בלי להישאר כבול לספק יחיד ובלי לוותר על ריבונות במידע. לפי דף המוצר של Cohere, חברות כמו Bell Cyber ו-LG CNS כבר מריצות את המערכת בסביבות ייצור. על הנייר זה בדיוק מה שארכיטקט אבטחה מחפש, אבל יש כאן גם אותיות קטנות.

ארגז חול בתוך הארגון

הליבה של North 2 היא מנוע תזמור שמטפל במשימות ארוכות. במקום סוכן ששוכח מי אתם ברגע שסגרתם את החלון, המערכת כוללת זיכרון עקבי חוצה-מפגשים. הסוכן זוכר העדפות, הנחיות קודמות והקשר של פרויקטים מתמשכים. בנוסף, המערכת כוללת מאגרי ידע משותפים שכל עובד יכול לחבר לתהליכים שלו בלי לכתוב קוד מחדש.

הסוכנים מתחברים ישירות לכלים קיימים כמו Jira, SharePoint וכן Slack, ומסוגלים לייצר מצגות, לוחות בקרה ויישומים קלים ישירות מתוך ממשק השיחה.

הרעיון הוא לאפשר הפעלת אוטומציות מורכבות דרך הנחיות טקסט, כשהנתונים לא דולפים החוצה. זה נשמע מוכר, אבל ההבדל הוא ביכולת להריץ את כל האופרציה מתוך הרשת הארגונית.

פלטפורמה שהייתה מאובטחת מספיק לא הייתה חכמה מספיק, זו שהייתה חכמה מספיק לא הייתה ניתנת לשליטה מספקת, וזו שיכולתם לנהל הפכה ליקרה מדי להרצה בקנה מידה רחב.ההכרזה של Cohere

בלי להינעל על ספק

מאפיין מרכזי בפלטפורמה הוא הגישה האגנוסטית למודלים. במקום לחייב שימוש בלעדי במודלים של החברה כמו Command A+, היא מאפשרת להביא מודלים חיצוניים (BYOM). אתם יכולים להריץ מודלים פתוחים או לחבר מנועים מחברות אחרות תחת אותה שכבת ניהול ובקרה.

שכבת הניהול הזו נקראת North Admin, והיא מיועדת בדיוק למי שמפחד מסוכנים אוטונומיים שיוצאים משליטה. הממשק מאפשר למנהלי מערכת להגדיר מכסות שימוש, להגביל טוקנים ולקבוע תקרות תקציב עד לרמת הסוכן הבודד. סוכן שמקבל גישה למערכות ייצור חייב לעצור ולבקש אישור אנושי לפני ביצוע פעולה קריטית. לפי החברה, על גבי שבבי Hopper וארכיטקטורת Blackwell של NVIDIA, המודלים שלה דורשים פחות טוקנים לביצוע אותן משימות.

זה נשמע מבטיח, לפחות במצגת.

הרכישה של Aleph Alpha הגרמנית, שעליה דיווח The Decoder, מבהירה את הכיוון של Cohere. שתיהן מכוונות לאותו קהל בדיוק: מגזרים מפוקחים שדורשים ריבונות מידע. Aleph Alpha פיתחה לאחרונה את Kolibri, מודל שנועד להבטיח עצמאות אירופית, והחיבור הזה מראה ש-Cohere בונה על ארגונים שחרדים מתלות בספקי ענן אמריקאיים.

ההבדל בין ענן למרתף

הגמישות בפריסה היא נקודת המכירה המרכזית כאן. אפשר לבחור להריץ את North 2 בענן ציבורי רגיל, להקים אותה בתוך ענן פרטי מבודד (VPC), להתקין אותה מקומית על שרתים פנימיים, או לפרוס אותה בסביבה מנותקת רשת לחלוטין (air-gapped). עבור גופים ביטחוניים ובנקים בישראל, התקנה מנותקת היא תנאי סף ולא מותרות.

יש כמובן מחיר למרחק מהאינטרנט. ככל שמתקרבים להתקנה מקומית ומנותקת, הריבונות במידע מלאה, אבל מורכבות התחזוקה מזנקת. אתם אחראים על עדכוני גרסה ידניים, ניהול משאבי החישוב ותחזוקת החומרה. מנגד, פריסה בענן פרטי נותנת איזון סביר בין בידוד נתונים לתפעול שוטף, בתנאי שהמדיניות הארגונית מאפשרת חיבור כזה.

המחיר לא כתוב במפורש

למרות ההבטחות, יש פרטים מהותיים שחסרים בהודעה של החברה. אין מחירון פומבי. בדוקומנטציה הרשמית ובעמוד ההשקה אין עלויות, והפנייה מועברת ישירות לצוות המכירות. זה אופייני לתוכנות ארגוניות, והמחיר לא כתוב, מה שבדרך כלל אומר משהו. בנוסף, החברה לא פרסמה דרישות חומרה מדויקות להתקנה מנותקת רשת, כך שאי אפשר לדעת מראש כמה מעבדים גרפיים תצטרכו להקצות לפרויקט.

חסרון בולט נוסף הוא היעדר בנצ'מרקים עצמאיים. Cohere טוענת שמערכת התזמור שלה יעילה ואמינה, אך אין נתונים חיצוניים שמודדים את שיעור ההצלחה של הסוכנים בביצוע משימות רב-שלביות מורכבות. נקודה מעורפלת נוספת נוגעת לפרטיות: לא ברור איך עובד מנגנון מחיקת המידע מהזיכרון המתמשך של הסוכנים. אם עובד עוזב או לקוח מבקש למחוק את המידע שלו לפי תקנות פרטיות, מחיקת נתונים מתוך זיכרון עקבי של מודל יכולה להפוך לכאב ראש משפטי וטכנולוגי.

המערכת זמינה לארגונים בישראל, אבל אין כרגע פירוט לגבי תמיכה בממשק מימין לשמאל או התאמה מיוחדת לעברית. לא הייתי ממהר לחתום על חוזה לפני פיילוט ממוקד שיבדוק את צריכת המשאבים האמיתית. המחשב במרתף שלכם יכול להריץ סוכנים, אבל כדאי לברר קודם כמה שרתים תצטרכו להעמיד בשבילו.