המבחן החדש של OpenAI בודק סוכנים ולא ידע תיאורטי
מדד LifeVal בוחן ביצוע משימות אמיתיות בדפדפן כמו קניות וטפסים, אבל הנתונים של OpenAI מתבססים על המקרה הטוב ולא על ממוצע מייצג.
- המתינו לשחרור מערך המשימות לבדיקה עצמאית לפני שתבססו החלטות פיתוח על נתוני ההצלחה של LifeVal.
מבחני ביצועים של מודלי שפה הפכו מזמן לבדיחה פנימית. מודל שמגרד 98% במתמטיקה אקדמית נתקע ברגע שמבקשים ממנו לקבוע תור לרופא, למלא טופס מקוון או להשוות מחירים בסופרמרקט. אתמול, ב-2 בנובמבר 2026, הציגה OpenAI את LifeVal, מבחן ביצועים חדש שנועד לבדוק איך סוכני AI מתמודדים עם מטלות מהחיים האמיתיים ולא עם תיאוריה בפיזיקה.
היוזמה הזו נוגעת ישירות לכל מי שמפתח כיום סוכנים מבוססי ChatGPT. במקום לפתור שאלות רב-ברירה, המערכת נדרשת לבצע שרשרת פעולות שסוגרת משימה מתחילתה ועד סופה. לפי החברה, יותר ממיליארד בני אדם משתמשים בצ'אט מדי שבוע, אך המענה הטקסטואלי הרגיל כבר אינו מספיק.
בלי שאלות רב-ברירה
עד כה, המדדים המקובלים בתעשייה בדקו בעיקר ידע אנציקלופדי, כתיבת קוד נקודתית או הסקת מסקנות מתמטית. עבור מפתחי מוצר, המספרים האלה הפסיקו לשקף את המציאות בשטח. כלי שמצטיין במענה מילולי קורס ברגע שמטילים עליו משימה שמורכבת מתיאום בין כמה אתרים במקביל, אימות פרטים, הזנת נתונים והורדת קבצים.
כדי לבנות את מאגר המשימות, החברה הסתמכה על סקרי שימוש בזמן כמו American Time Use Survey וסקר בינלאומי של Multinational Time Use Study. הנתונים האלה מספקים קטלוג מפורט של פעולות יומיות לפי חתכים דמוגרפיים, עונות ושעות ביממה. על בסיס הנתונים האלה הרחיבה OpenAI את הבדיקה בעזרת סקר ייעודי בקרב 3,995 נשאלים, כדי למפות באילו תחומים אנשים באמת רוצים סיוע מסוכן אישי. שבעת התחומים שנבחרו כוללים טיפול בילדים ובבני משפחה, בריאות, חינוך, בירוקרטיה ביתית, ניהול כספים אישיים, קניות וגישה לשירותים ממשלתיים.
במילים אחרות: פחות שאלות על שושלות היסטוריות, יותר כביסה וטפסים.
משיחה לפעולה בדפדפן
השינוי המרכזי במדד הוא המעבר מטקסט לפעולה. המודל אינו מסתפק בעצות כלליות, אלא נדרש להשתמש בדפדפן, בממשקי מחשב ובחיבורים חיצוניים כדי להשלים משימה בעולם האמיתי.
כשמישהו מחפש עזרה שתקל על חייו, הוא צריך יותר מעצה או תשובה בצ'אט. כדי להיות עוזר אישי מועיל באמת, ChatGPT צריך להיות מסוגל לנקוט פעולות שממש מבצעות דברים.OpenAI, מתוך ההכרזה הרשמית
בדוגמה אחת שהוצגה בפרסום, המודל קיבל הוראה למצוא בית לרכישה במחוז לוזרן בהתאם לתקציב מוגדר, יחידת דיור נפרדת ומסלול נסיעה קצר מבית הספר. המערכת איתרה את הנכס המתאים, חישבה את מס הרכישה המקומי והוסיפה את שטר הקניין לעגלת הקניות במערכת הרישום של המחוז כדי שהמשתמש יוכל לבדוק אותו. במשימה זו קיבל המודל ציון של 100%.
משימות נוספות הציגו תרחישים שונים. רישום לגן ילדים מתאים לאחר מעבר דירה הניב ציון של 93.1%, כאשר המודל צמצם את הרשימה לשלושה גנים וריכז את פרטי ההרשמה. ניהול מתנדבים בקהילה לקראת שיטפון השיג 98.0%, והכנת תוכנית טיפול ותזונה שבועית להורה שחלה בסוכרת קיבלה 90.4%. במקרה של הגדרת צפייה משותפת במשחק מרחוק עם סבתא, המודל הגיע ל-96.3% והכין שידור חלופי למקרה של תקלה.
ההבדל בין ממוצע למקרה הטוב
OpenAI מציגה שיפור עקבי בגרפים שלה לאורך השנה האחרונה. מודל GPT-5.2 מדצמבר 2025 השיג ציון ממוצע של 49.3%, בעוד שמודל GPT-6 Astra מספטמבר 2026 מגיע ל-80.6%. אלו מספרים שמציגים קפיצה מהירה, אבל האותיות הקטנות מספרות סיפור מעט שונה.
בחלק מדוגמאות המשימות הוצגו ציונים עגולים של 100%. למשל, איתור והזמנת שיעור חושי לפעוט, או בדיקת מועד טיפול לרכב והזמנת בדיקה לפני נסיעה. מקרים נוספים שקיבלו ציון מושלם כללו הזמנת מצרכי חלאל לפי תקציב, איתור טבעת אירוסין חלופית, מציאת מכשיר כיס משולב ואפילו ביטול הרשמה מרשימות תפוצה.
אלא שטבלת התוצאות מציינת במפורש שמדובר בתוצאה הטובה ביותר שנרשמה, Best recorded, ולא בתוצאה חציונית או ממוצעת בכל הרצה. יש מרחק עצום בין סוכן שמצליח במשימה מורכבת פעם אחת לבין מערכת יציבה שאפשר להטמיע במוצר שלכם. הציון הכללי של GPT-6 Astra עומד על 80.6%, מה שאומר שבאחת מכל חמש משימות בממוצע המודל עדיין נכשל או מפספס חלק מהדרישות.
| מודל | תאריך השקה | ציון ממוצע במשימות (LifeVal) |
|---|---|---|
| GPT-5.2 | 11 בדצמבר 2025 | 49.3% |
| GPT-5.4 | 5 במרץ 2026 | 73.0% |
| GPT-5.5 | 23 באפריל 2026 | 77.4% |
| GPT-5.6 | 9 ביולי 2026 | 80.0% |
| GPT-6 Astra | 3 בספטמבר 2026 | 80.6% |
בנוסף, החברה לא פרסמה השוואה למודלים מתחרים על אותו מאגר משימות בדיוק, ולא ידוע כיצד מערכות אחרות היו מתמודדות עם המבחן הזה.
טפסים אמריקאיים, לא ממשל זמין
עבור צוותי פיתוח בישראל, מילת האזהרה חשובה שבעתיים. המשימות של LifeVal נבנו כולן סביב שירותים, בירוקרטיה ומבנה נתונים אמריקאי. מערכת שיודעת לאתר נכס במחוז לוזרן תתקשה מאוד להתמודד עם אתרי שירות ממשלתיים בארץ, מערכות בנקאיות מקומיות או רשתות קמעונאות שלא מחזיקות ממשק מסודר.
החברה לא הכריזה על התאמה לממשקים בישראל או על בדיקות בעברית. מודל שיודע לנווט באתר אמריקאי סטנדרטי לא בהכרח יצלח תהליך הזדהות מקומי או טופס עברי ישן. בלי תמיכה במבנה הנתונים המקומי, הציון של Astra נשאר תיאורטי למדי עבור מפתח ישראלי.
לא למהר לשנות ארכיטקטורה
לא הייתי ממהר לבנות מחדש את צנרת הסוכנים שלכם בגלל ההודעה הזו. המבחן של OpenAI מראה את הכיוון הכללי של התעשייה, אך כל עוד סט המשימות אינו פתוח להרצה עצמאית, לא ניתן לאמת את אמינותו. מעבר לכך, הרצת סוכנים על משימות רגישות כמו תשלומים בפועל או טיפול במסמכים אישיים דורשת מנגנוני אבטחה שעדיין אינם פתורים בדפדפן חי.
תבדקו קודם את המערכת שלכם על התהליכים הספציפיים שהמשתמשים שלכם צריכים. הטופס במחוז לוזרן לא יעזור ללקוח שמנסה לקבל אישור בעירייה.
מה שואלים על זה
- LifeValopenai.com · המקור
- American Time Use Survey(opens in a new window)bls.gov · מקושר מההודעה
- Multinational Time Use Study(opens in a new window)timeuse.org · מקושר מההודעה
29 עובדות בכתבה נבדקו אחת־אחת מול המקורות המקושרים ב־2 בנובמבר 2026. מה שלא אומת הוסר או מסומן כטענה של החברה. הכתיבה נעשתה בעזרת AI מהמקורות האלה בלבד, בעריכה ובאחריות של סלבה מלנדוביץ׳. טעות? כתבו לנו.