עץ קומיטים בגיט פותר לסוכני AI את בעיית הזיכרון המשותף

סוכני קוד אוטונומיים יודעים לשפר סביבת אימון לבד, כל עוד הם עובדים בבדידות מזהרת. לולאות מחקר אוטונומיות הראו שסוכן יחיד מסוגל לקדם משימות מורכבות ללא השגחה רצופה. ברגע שמריצים כמה מהם במקביל, המצב מסתבך במהירות: כולם דורכים זה לזה על הרגליים, שורפים תקציבי API יקרים על שאילתות זהות ומתחילים כל ניסוי מחדש מאפס מוחלט. במקום להקים עוד מסד נתונים וקטורי או מתאם מרכזי, צוות המחקר בהובלת Yifan Zhang הציג ב-מאמר שפורסם ב-arXiv פתרון בדמות Agora, המשתמשת ב-Git כזיכרון משותף.

הסוכנים מתחילים מחדש בכל פעם

הבעיה המרכזית בריבוי סוכנים היא חוסר המשכיות. כשיש לכם חמישה מודלים שונים שחוקרים קוד, כל סשן מתחיל בחיפוש ראשוני עיוור, מה שמייצר כפילויות עבודה יקרות במקום תגליות חדשות. Agora פותרת את זה בלי שרת מורכב. כל מסקנה, השערה, דוח בדיקה או פיסת קוד נשמרים כקומיט קבוע שאינו ניתן למחיקה. כל סוכן שמצטרף למערכת יכול לבצע צ'ק-אאוט להיסטוריה, לשחזר טענה של עמית ולהריץ את הקוד מחדש בלי לפתח ספקות.

ריבוי סוכנים ללא סנכרון גורם לבזבוז חישוב מסיבי. במקום לגלות תובנות חדשות, הם פשוט חוזרים על אותן הטעויות.

כאשר מריצים סוכנים מרובים בסביבה עצמאית, היעדר תקשורת אמינה מוביל למצב שבו כל סוכן מבצע מחדש עבודה שכבר נעשתה ונבדקה. כל בדיקה חוזרת גוזלת זמן ריצה ומשאבים מבלי לייצר שום ערך מוסף. בגישה של Agora, כל תרומה מחקרית הופכת לחלק בלתי נפרד ממאגר נתונים קיים של ידע מאומת.

עץ החלטות במקום שרת זיכרון

המערכת מייצגת את תהליך המחקר כגרף מכוון ללא מעגלים (DAG) מסוג append-only שנשמר ישירות בתוך Git. כל קומיט מקושר לקומיט האב שממנו התפתח הרעיון, מה שיוצר עץ שושלת מסודר ושקוף. אינדקס נגזר חושף לסוכנים את חזית המחקר הנוכחית, את הענפים שנזנחו ואת סטטוס האימות של כל טענה. כדי למנוע מצב שבו כל המודלים מתנפלים על הענף המבטיח ביותר ומזניחים כיוונים אחרים, המערכת מפעילה כלל בחירה מודע-מגוון (diversity-aware) שמפזר את העבודה.

כל תוצאה, תובנה, היפותזה, אימות ודוח הם קומיט בלתי ניתן לשינוי שקצוות ההורים שלו מציינים על מה הוא נבנה.המאמר המדעי ב-arXiv

המבנה הזה מאפשר לכל מודל שפה לגשת להיסטוריה המלאה של הניסויים, לבדוק אילו השערות נפסלו ולאמת טענות קודמות בלחיצת כפתור. הקישור בין הורים לילדים בגרף מונע כפילויות ומבהיר במדויק איזה שינוי הוביל לשיפור במדדים. במקום להסתמך על חיפוש סמנטי במסד נתונים וקטורי שעלול להחזיר תוצאות מקורבות ולא מדויקות, הסוכנים מקבלים אמת עובדתית מוצקה, חתומה ומאומתת בקוד.

לפי החוקרים, כל תוצאה או היפותזה הופכת לקומיט קבוע שקצוות ההורים שלו מגדירים על מה בדיוק היא נשענת. במקום להסתבך עם סנכרון תהליכים מורכב, הכלים הבסיסיים של עולם התוכנה עושים בדיוק את מה שצריך.

12 ימים ו-1,703 תרומות

כדי להעמיד את השיטה למבחן, החוקרים הריצו 13 סוכנים מבוססי מודלי שפה במשך כמעט 12 ימים רצופים, ללא מנהל מרכזי וללא משימות מוגדרות מראש. המטרה היתה משימת העברת משקלים (weight-transfer): אתחול מודל מטרה היברידי מסוג attention-SSM בן 119.6 מיליון פרמטרים באמצעות 141 מודלי תורמים, ללא נתוני אימון וללא עדכוני גרדיאנט. הממדים של מודל המטרה לא תאמו לאף אחד ממודלי התורמים, כך שהאתגר דרש התאמות ארכיטקטוניות מורכבות.

התוצאות הוכיחו התקדמות עקבית. הסוכנים פרסמו 1,703 תרומות לאורך הריצה, והצליחו להוריד את מדד השגיאה מ-3.39 ל-1.899 ביטים לבת (bits per byte). בכך הם סגרו 62% מהפער לעומת מודל GPT-2 מאומן בגודל 124 מיליון פרמטרים. המתכון המנצח דחס את סטטיסטיקת הטוקן הבא ממודלי התורמים לתוך שכבות ההטמעה וראש הפלט של מודל המטרה, והוסיף אות הקשר קצר-טווח באמצעות עריכות דלילות בבלוקי תשומת הלב, ה-feed-forward ומרחב המצב (state-space).

שרשרת היוחסין של הפתרון הזוכה נפרסה לאורך 145 קומיטים והתבססה על תרומות מ-15 חשבונות שונים. לאורך הניסוי נרשמו 165 ניסיונות שכפול עצמאיים של התוצאות בידי סוכנים אחרים, ואף אחד מהם לא נכשל. הנתונים הללו מראים כיצד עקרונות machine learning יכולים להתנהל בשיתוף פעולה מכונה-למכונה מבלי לאבד אמינות או דיוק.

ההתערבות הידנית שקילקלה את האוטונומיה

המספרים על הנייר מרשימים, אבל האוטונומיה לא היתה מושלמת. במהלך הריצה נאלצו החוקרים לבצע התערבות אנושית יזומה כדי לחלץ את קהילת הסוכנים ממצב של מונוקולטורה. למרות כללי הבחירה המגוונים שנועדו למנוע קריסה סביב מוביל יחיד, הסוכנים ננעלו על רעיון בודד והפסיקו לחקור כיוונים חלופיים עד שיד אדם הסיטה אותם מהמסלול.

אוטונומיה מוחלטת של מודלים עדיין רחוקה מיישום מעשי.

נוסף על כך, המאמר אינו כולל השוואה מבוקרת (controlled comparison) שמוכיחה מעבר לכל ספק שהמבנה השיתופי אכן מייצר יותר גילויים פר יחידת חישוב בהשוואה לסוכנים מבודדים בתקציב זהה. החוקרים עצמם מציינים במפורש כי נדרש ניסוי מבוקר כזה כדי להכריע סופית בסוגיה. ל-NVIDIA פעילות פיתוח ומחקר ענפה בישראל, אך אין אינדיקציה לכך שהמחקר הספציפי מקורו בצוותים המקומיים.

מה לבדוק לפני שרצים לממש

אם אתם מתכננים מערך של סוכני קוד פנימיים, השיעור מ-Agora ברור: אל תרוצו להקים ארכיטקטורות ענן סבוכות כשעץ גרסאות פשוט מספק רישום בלתי מחיק ויכולת אימות מובנית. עם זאת, לא הייתי ממהר לשכתב את התשתית שלכם מחר בבוקר, בעיקר כיוון שקוד המקור של המערכת טרם שוחרר כמאגר פתוח לציבור.

מומלץ לעקוב אחרי הפרסומים בעמוד של NVIDIA ב-Hugging Face כדי לראות עדכונים נוספים על המחקר. עד שהסוכנים ילמדו להסתדר לגמרי בלי בייביסיטר אנושי, שמרו עליהם עין פקוחה.