ארכיטקטורת Cortex מנסה לצרוב הקשר ישר לתוך המשקולות

מיליון טוקנים בחלון ההקשר נשמעים כמו פתרון קסם, עד שמקבלים את חשבון הענן בסוף החודש. כולם מנסים לדחוף היסטוריית שיחות, מסמכים פנימיים והנחיות התנהגות ישירות לתוך הפרומפט, רק כדי לגלות שהמודל נעשה כבד וההשהיה מזנקת. ברגע שמוציאים את הטקסט מהקלט, המודל חוזר להיות דף חלק ושוכח כל מה שלמד לפני רגע. אתמול הציגו חוקרים מאמר חדש בשרת arXiv, שמציע לגשת לבעיה הזו בדיוק מהכיוון ההפוך.

מבחן הזיכרון של המודל

במערכות פרודקשן, התלות בהקשר חיצוני מייצרת צוואר בקבוק כפול: חשבון טוקנים תופח וזמני תגובה שמתארכים ככל שהקובץ גדל. במקום להמשיך להרחיב את חלונות ההקשר לנפחים בלתי נגמרים, מחברי המאמר מציעים מסגרת בשם Cortex שמחברת בין עריכת ידע מבוססת הקשר, למידת מיומנויות חדשות וכיוונון התנהגות תחת יעד משותף.

הרעיון נשען על מנגנוני גיבוש זיכרון במערכות ביולוגיות, שבהן חוויות קצרות טווח עוברות הטמעה הדרגתית לתוך הזיכרון ארוך הטווח. במודלי שפה, המטרה היא להעביר את המידע מתוך חלון ההקשר הזמני והיקר ישירות אל תוך הזיכרון הפרמטרי, כלומר לתוך המשקולות הקבועות של הרשת. מובילי המחקר Jintian Zhang ו־Feng He בנו סביבת בדיקה שמודדת גיבוש ידע ושימור יכולות תחת עדכונים בודדים, עדכוני אצוות ועדכונים רציפים.

ההבטחה גדולה.

זיקוק שאילתות במקום אימון מלא

אימון מחדש של מודל על כל פיסת מידע חדשה הוא רעיון יקר מדי שמוביל בדרך כלל לשכחה קטסטרופלית של משימות בסיס. כדי לעקוף את המכשול הזה, Cortex מייצר שאילתות חזויות שמנסות להעריך מראש איך ישתמשו במידע שבהקשר. לאחר מכן, המערכת מזקקת את הפלטים המותנים לתוך עדכוני משקולות ממוקדים: התאמות LoRA בעלות דרגה נמוכה שניתנות למיזוג, או עדכונים מבניים לשכבות ה־Feed-Forward (FFN).

Cortex generates prospective queries to anticipate uses of context and distills context-conditioned outputs into mergeable low-rank or structural feed-forward network updates.תקציר המאמר ב־arXiv

את המנגנון הזה בחנו החוקרים על פני חמש משפחות משימות שונות, כדי לבדוק האם הוא שומר על יציבות במגוון ארכיטקטורות מודרניות של Machine Learning. הניסויים בוצעו על מודלים דחוסים ומודלי Mixture of Experts (MoE) בגדלים של 4 מיליארד עד 120 מיליארד פרמטרים. לפי הדיווח שלהם, המערכת נבדקה על מודלים של טקסט ומודלים מולטימודליים, והתמקמה על חזית פארטו של גיבוש זיכרון מול שימור יכולות במרבית התרחישים שנבדקו.

במעבדה זה עובד, בייצור פחות

הנתונים שהציגו החוקרים על הנייר נראים מצוין. בבדיקה שנערכה על מודל של 14 מיליארד פרמטרים תחת 50 עדכונים רציפים, גרסת Cortex-Structural שחזרה 88.9% מהרווח שהושג בעזרת ההקשר, תוך שמירה על 99.8% מביצועי הבסיס המקוריים. המודל למד את המידע החדש כמעט בלי לפגוע בכל מה שהוא כבר ידע לעשות ברשת הבסיס.

אבל כאן מגיע הסייג המשמעותי שמהנדסים חייבים לקחת בחשבון. הבדיקות במאמר מבוססות על מבחני ביצוע סינתטיים ומבוקרים של עריכות עובדתיות מוגדרות מראש. מעבדה מבוקרת רחוקה משיחת תמיכה מורכבת של עשרות תורות, שבה הלקוח סותר את עצמו, משנה דרישות או מתנסח בצורה מעורפלת. 50 עדכונים עובדתיים הם התחלה נחמדה למחקר אקדמי, אבל רחוקים מלהוכיח שמערכת כזו תשרוד חודש של אינטראקציות בעולם האמיתי מול משתמשי קצה.

לא הייתי ממהר להחליף ארכיטקטורה עובדת.

הפער בין הצלחה בבנצ'מרק של 50 עריכות לבין מערכת ייצור שמקבלת אלפי עדכונים יומיים הוא תהומי. לא ידוע כיצד המודל יתמודד עם קונפליקטים עובדתיים מצטברים, שבהם עדכון מאוחר סותר מידע שהוטמע קודם לכן. ללא מנגנון אימות ושליפה חיצוני, תיקון טעויות שהוטמעו עמוק בתוך המשקולות עלול לדרוש תהליך הנדסי מסוכן בהרבה מאשר עדכון שורה בודדת בבסיס נתונים.

שאלת החשמל והקוד הנעדר

יש שני נתונים קריטיים שפשוט לא פורסמו: זמן ומשאבים. לא ידוע כמה כוח מחשוב דרוש כדי לייצר את השאילתות החזויות וכמה זמן לוקח לבצע את האופטימיזציה למשקולות לעומת שליפת RAG סטנדרטית, והנתונים הללו לא מופיעים בטקסט. אם כל עדכון פרמטרי דורש שניות ארוכות של עבודת GPU ייעודית, פעולות זיקוק חוזרות וחישוב גרדיאנטים עבור שכבות הרשת, החיסכון בעלויות הטוקנים ייבלע לחלוטין בתוך חשבון החשמל והשרתים שלכם.

מעבר לכך, לא ידוע מתי ישוחרר מאגר הקוד ולא פורסם קישור פתוח אליו. עד שנוכל לבדוק את הביצועים בעצמנו על תשתית עצמאית, Cortex נשאר בגדר רעיון מחקרי מסקרן ולא כלי שאפשר לשלב בספרינט הבא. אם אתם שוקלים לזרוק את מסד הנתונים הווקטורי שלכם בשביל עדכון משקולות דינמי, חכו עם זה. בינתיים, ה־RAG הישן והחבוט שלכם לא הולך לשום מקום.