מיקרוסופט הופכת מסדי נתונים למאמני סוכנים
במקום לבדוק שיחות, חוקרי מיקרוסופט משתמשים בשורות הסופיות במסד הנתונים כדי לתגמל מודלים בלמידת חיזוק, ומשלשים את העקביות בריצות חוזרות.
- הגדירו במערכות שלכם מדד עקביות מלאה ב-20 ריצות ובדקו את רשומות בסיס הנתונים הסופיות במקום להסתמך על ממוצע הצלחה בודד.
סוכני AI יודעים להישמע משכנעים מאוד כשהם מדווחים שהמשימה בוצעה בהצלחה. הם יבצעו שרשרת ארוכה של קריאות לכלים חיצוניים, יציגו פלט מנומק, ויסגרו את הפנייה לשביעות רצונם המלאה. הבעיה מתחילה ברגע שפותחים את טבלת הנתונים שמאחורי הקלעים ומגלים ששום שורה לא באמת עודכנה. הפער הזה בין דיווח רהוט לביצוע שגוי הוא בדיוק מה שחוקרי Microsoft ו-Hugging Face מנסים לפתור במחקר שפורסם ב-22 באוקטובר 2026 על פרויקט ThinkingBox-Training. שותפים לו החוקרים Mirco Milletari ו-Xiang Jiang ממיקרוסופט, Sergio Paniego מ-Hugging Face, והמתמחה לשעבר Zhuochun Li מאוניברסיטת פיטסבורג.
זה קורה כל הזמן.
הסוכן סיים, הטבלה התנגדה
בבנצ'מרק ThinkingBox-Bench בחנו החוקרים סוכנים מול 507 משימות עם שרתי קצה אמיתיים וכלי MCP. במקרה מייצג שמתואר במאמר הראשון בסדרה, מודל סגר כרטיס שירות לקוחות כפתור בשעה שחריגת השילוח מאחוריו נותרה פתוחה. תשע קריאות לכלים נראו מקצועיות לגמרי, אבל שורה אחת בבסיס הנתונים הייתה שגויה. במקום לדרג את טקסט השיחה, המערכת מריצה בדיקה אוטומטית שמשווה את המצב הסופי של בסיס הנתונים לתוצאה המצופה ומחזירה 1 או 0 ישירות מהרשומה. החוקרים הבינו שבדיקת התקינות הזו היא לא רק ציון במבחן, היא אות תגמול מדויק ללמידת חיזוק (RL). הבדיקה מוודאת תוצאה סופית ולא סדר פעולות מסוים.
עבור רוב המשימות, בדיקה ניתנת להרצה יכולה להחזיר 1 או 0 ישירות ממצב בסיס הנתונים הסופי. זה לא רק ציון. זו יכולה להיות פונקציית תגמול.פוסט המחקר ב-Hugging Face
במקום לאמן סוכן על תמלילי שיחות של בני אדם, אימנו אותו על שינויי מצב בפועל. האימון התבצע באמצעות אלגוריתם GRPO על גבי מודל Qwen3.8-27B למשך 50 צעדים, עם קצב למידה של 1e-6 בממטב AdamW וללא weight decay. סביבת הבדיקה לא מחייבת נתיב פעולה ספציפי, מה שמאפשר למודל לגלות מסלולי פתרון חדשים כל עוד הרשומות בסיום מדויקות. קוד הפרשנות המשותף נמצא בקובץ tb_interpret.py כדי להבטיח שהאימון וההערכה מפרשים חילוץ חשיבה, קריאות כלים והקלדה של ארגומנטים באותה צורה בדיוק.
העקביות קפצה, הגמישות ירדה
מדד ההצלחה הממוצע הרגיל, pass@1, מטעה מהנדסים שמתכננים מערכות קריטיות. בניסויי החוקרים, המודל Qwen3.8-27B הבסיסי פתר במקור 51.70% מכלל 10,140 הניסיונות (5,242 הצלחות), אך השלים רק 38 מתוך 507 המשימות בהצלחה מלאה בכל עשרים הניסיונות החוזרים (7.50%). לאחר 50 צעדי אימון GRPO, ממוצע ההצלחה עלה ל-60.78% (6,163 הצלחות), אבל הזינוק המשמעותי נרשם במדד העקביות המלאה: 107 משימות הושלמו בהצלחה 20 מתוך 20 פעמים (21.10%), כמעט פי שלושה. בתרחיש של הזמנת מלון עסקי שדורשת אישור מנהל להורדת דירוג חדר, המודל הבסיסי שינה את ההזמנה ואישר החזר כספי בלי אישור ב-15 מתוך 20 ניסיונות. לאחר האימון, הוא שמר על מצב ההזמנה והתשלום ללא שינוי בכל 20 הניסיונות, ורשומות היעד תאמו ב-19 מתוכם.
אם אתם בוחרים מודל לעבודה מול רשומות בסיסי נתונים בפרודקשן, pass@1 לבדו פשוט לא מספיק. העקביות הזו גבתה מחיר ברוחב הכיסוי. שיעור המשימות שנפתרו לפחות פעם אחת בעשרים ניסיונות ירד מ-453 ל-446 משימות (ירידה מ-89.35% ל-87.97%). התפלגות ההסתברויות של המודל התחדדה סביב מסלולים שעובדים שוב ושוב, בעוד נתיבים בעלי הסתברות נמוכה נעלמו. העלייה בדיוק ובעקביות נרשמה בכל חמשת התחומים שנבדקו: קמעונאות, ביטוח רכב, נסיעות, בנקאות דיגיטלית וייעוץ, אך כיסוי pass@20 ירד בביטוח רכב ב-7 נקודות האחוז.
לא הייתי ממהר להתרגש מנתוני כיסוי רחבים כשמדובר במערכות ליבה, כי הפשרה הזו לטובת עקביות מושלמת היא בדיוק מה שחסר כרגע בפרודקשן.
השיפור הזה משתקף גם בעלויות הריצה המשוערות. עלות קמפיין מלא של עשרים ריצות עבור המודל ירדה מ-925.80 דולר ל-855.58 דולר, ירידה של 7.6%. העלות לכל ניסיון מוצלח בודד ירדה מ-0.177 דולר ל-0.139 דולר. כשמחשבים את העלות למשימה עקבית לחלוטין (חלוקת עלות הקמפיין במספר המשימות שעברו 20 מתוך 20), העלות צנחה מ-24.36 דולר ל-8.00 דולר בלבד, ירידה של 67.2%. זה מציב את המודל קרוב למודלים סגורים כמו GPT-5.4 עם 6.80 דולר, GPT-6 Astra עם 7.45 דולר, ו-Claude Opus 5.5 עם 7.80 דולר.
| מודל | הצלחה ממוצעת (pass@1) | עקביות מושלמת (20 מתוך 20) | מחיר משוער למשימה עקבית |
|---|---|---|---|
| Claude Opus 5.5 | 67.16% | 241 משימות (47.53%) | $7.80 |
| Claude Opus 5 | 66.50% | 241 משימות (47.53%) | לא פורסם |
| GPT-5.4 | 65.36% | 128 משימות (25.25%) | $6.80 |
| GPT-5.6 Sol | 61.91% | 82 משימות (16.17%) | לא פורסם |
| Qwen3.8-27B לאחר אימון RL | 60.78% | 107 משימות (21.10%) | $8.00 |
| Claude Sonnet 4.6 | 59.19% | 102 משימות (20.12%) | לא פורסם |
| GPT-6 Astra | 58.31% | 231 משימות (45.56%) | $7.45 |
| Kimi-K3 | 57.37% | 68 משימות (13.41%) | לא פורסם |
| Qwen3.8-27B בסיסי | 51.70% | 38 משימות (7.50%) | $24.36 |
סוד הסינון המוקדם
אימון GRPO דורש שונות בתוצאות כדי לייצר גרדיאנט למידה. אם סוכן נכשל בכל שמונת הניסיונות של מקבץ נתון, וקטור התגמול הוא אפס לכולם והמודל לא לומד דבר. מצד שני, משימות שהסוכן פותר תמיד בקלות מחזירות תגמול חיובי מלא לכל הניסיונות ואינן מייצרות אות שיפור. במיקרוסופט בחרו לאמן את המודל על מאגר של 187 משימות מחוץ לבנצ'מרק שנבחרו בסינון מוקדם לפי ביצועי המודל הבסיסי.
החוקרים שמרו על מאגר המשימות קבוע לאורך כל 50 צעדי האימון. שיטה זו מכונה סינון קושי יחסי למדיניות באופליין. קבוצות ללא שונות הוחלפו במהלך האימון בשיטת DAPO. עם זאת, השאלה האם צריך לעדכן את מאגר המשימות באופן דינמי בריצות ארוכות יותר, ככל שהמדיניות משתנה והמשימות המקוריות הופכות לקלות מדי עבור המודל המתקדם, נותרה אחת השאלות הפתוחות שהמחקר השאיר לבדיקות עתידיות.
החשבון מגיע בשרתים
התוצאות על הנייר מצוינות, אבל התשתית מאחוריהן מציבה חסם כניסה כבד. בריצת הייחוס של האימון נוצרו בכל צעד 144 פרקי אינטראקציה מלאים על פני 24 מאיצי H100. כל ריצה כזו הופעלה מול סביבות שרת מבודדות ומודל GPT-5 Chat ששימש כמשתמש מדומה, שילוב הכרחי כדי לחקות אינטראקציה מציאותית בסביבה מבוקרת. רוב התגמולים נקבעו בבדיקה דטרמיניסטית של בסיס הנתונים, ומיעוטם הסתמך על GPT-5 Chat כשופט להנחיות הערכה ספציפיות.
שגיאות מערכת, כמו חריגות זמן של שרתי הקצה, דרשו מנגנון מיוחד למילוי מחדש של קבוצות כדי לא להעניש את המודל על כשל תשתיתי שלא קשור לפעולותיו. קוד האימון פורסם ב-GitHub, אך לא ידוע אם התשתית כוללת תמיכה בעברית. אם אין לכם תקציב ענן של עשרות אלפי דולרים להקמת עשרות סביבות sandbox מבודדות במקביל, לא תוכלו להרים אימון כזה בעצמכם מחר בבוקר.
מה לבדוק בארכיטקטורה שלכם
גם בלי להקים חוות שרתים עתירת מאיצים, מהנדסי מערכות ליבה יכולים ליישם את התובנה המרכזית כבר עכשיו. הפסיקו למדוד סוכנים לפי כמות המשימות שהם פותרים בממוצע בריצה בודדת. כדי למנוע נזק לבסיסי נתונים חיים, בנו חבילת בדיקות פנימית שמריצה כל תרחיש עשרים פעמים ובודקת את שורות הנתונים הסופיות, ולא את תמליל השיחה של הסוכן. זה עדיין לא יפתור בעיות תשתית, אבל לפחות תדעו מי מהסוכנים שלכם סתם מדבר ומי באמת עובד.
מה שואלים על זה
- Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBoxhuggingface.co · המקור
- הכרזת בנצ'מרק ThinkingBox המקורי בבלוג Hugging Facehuggingface.co · קריאה נוספת
30 עובדות בכתבה נבדקו אחת־אחת מול המקורות המקושרים ב־23 באוקטובר 2026. מה שלא אומת הוסר או מסומן כטענה של החברה. הכתיבה נעשתה בעזרת AI מהמקורות האלה בלבד, בעריכה ובאחריות של סלבה מלנדוביץ׳. טעות? כתבו לנו.