ה-Sol החדש של OpenAI הופך את Astra לבזבוז תקציב

לבחור אוטומטית במודל הדגל הכי יקר בכל פרויקט עולה לכם ביוקר, אבל זה מרגיע את האגו. המדריך המעשי של OpenAI למשפחת GPT-6 חושף תמונה שונה. שימוש במודל החזק ביותר לכל אורך הצינור מעיד על תכנון לקוי. כשמפרקים את ארכיטקטורת הסוכנים לרכיבים עצמאיים, GPT-6 Astra מתגלה כפתרון נקודתי בלבד, בעוד שעיקר העבודה השוטפת שייך בכלל למודל אחר.

בסוף המדריך הזה תדעו בדיוק איך להגדיר את מודל העבודה הראשי בשרת שלכם, איך לשמור על עלויות קלט כמעט אפסיות באמצעות מטמון, ומתי אסור לכם לגעת במודלי העל. לא הייתי ממהר להשאיר את Astra כברירת מחדל בשום קריאת API חדשה.

החשבון פשוט.

ההבדל בחשבונית, לא בתוצאה

הפער הכלכלי בין מודלי הדגל לבין שכבת הביניים כבר אינו עניין של אחוזים בודדים. לפי ההכרזה על GPT-6.1 Sol, המודל החדש עולה חמישית ממחירי הקלט והפלט הסטנדרטיים של GPT-6 Astra. מדובר בתעריף של 2 דולר למיליון טוקנים של קלט ו-10 דולר למיליון טוקנים של פלט ב-API תחת השם gpt-6.1-sol. המספרים הללו הופכים למשמעותיים ברגע שמריצים משימות פיתוח מורכבות שנמשכות שעות, במיוחד כשסוכנים פועלים ברקע ללא פיקוח הדוק ומבצעים עשרות קריאות עוקבות כדי לפתור בעיה בודדת.

מה מקבלים בתמורה? במבחן DeepSWE v1.1 במאגרי קוד, GPT-6.1 Sol מציג תוצאה זהה לזו של Astra בעלות נמוכה בחמישית, לפי נתוני OpenAI. במקביל הוא שיפר ב-6.4 נקודות אחוז את התוצאה של GPT-6 Sol הבסיסי במאמץ חשיבה נמוך יותר. במשימות תכנות יומיומיות, המודל מתמודד עם סביבות עבודה מלאות בלי לגבות את תוספת המחיר של מודל העל.

במבחן AutomationBench מול תהליכים עסקיים שלמים בשימוש ב-47 כלים שונים, Sol עקף את Claude Opus 5.5 ב-2.2 נקודות אחוז ברמת reasoning effort בינונית, בשליש מהעלות. במבחן GDP.pdf לבדיקת מסמכים פיננסיים ורפואיים סבוכים, Sol התקרב לציונים של Astra בפחות מחמישית מהמחיר לכל משימה, ועקף את Opus 5.5 בפחות ממחצית העלות. ברמת העובדות, המודל צמצם טעויות ב-32 אחוזים לעומת קודמו ברמת מאמץ נמוכה, עם שיעור שגיאה של 7.7 אחוזים בלבד.

מודלים נעשו טובים בהרבה בהבנת דקויות וערפול, ולכן הנחיה מפורטת מדי עלולה כעת לפגוע בתוצאות במקום שבו בעבר היא עזרה.אריק פרובנצ'ר, חוויית מפתחים ב-OpenAI

מטמון עמוק במקום מודל ענק

הסוד האמיתי להפחתת עלויות בסוכנים נמצא במנגנון של prompt caching. עבור GPT-6.1 Sol, טוקנים שנשמרו במטמון עולים 0.10 דולר בלבד למיליון, הנחה של 95 אחוזים ממחיר הקלט הרגיל ו-50 אחוזים פחות מהמטמון של Sol הקודם. אם הסוכן שלכם שולח שוב ושוב את היסטוריית השיחה, עץ הקבצים והגדרות הכלים, אי-שימוש במטמון שורף תקציבים.

המטמון שומר טנזורים של מפתחות וערכים עבור תחילית הפרומפט שלא השתנתה. כדי שהמערכת תזהה את המטמון ותפעיל את ההנחה, הקפידו שההנחיות הקבועות, קובצי המערכת והגדרות הכלים יופיעו תמיד בתחילת הבקשה, לפני הוראות המשימה המשתנות. שינוי ברמת ה-reasoning effort בתוך השיחה אינו שובר את המטמון ב-API. זה שווה רק אם המבנה נשאר קשיח.

כאשר היסטוריית השיחה תופחת במשימות ארוכות, שימוש ב-compaction בצד השרת מאפשר לכווץ את ההקשר בלי לאבד נתוני מפתח והיגיון מצטבר. הגדרת context_management עם compact_threshold בקריאת Responses מפעילה את הדחיסה אוטומטית כשהטוקנים חוצים את הסף, ומחזירה אובייקט דחוס ומוצפן שמחליף הודעות ישנות וחוסך טוקנים. שימוש בפרמטר store שמוגדר כ-false מבטיח שמירה על תאימות למדיניות Zero Data Retention.

לפי נתוני OpenAI, טוקנים שנשמרו במטמון של GPT-6.1 Sol עולים 0.10 דולר בלבד למיליון, הנחה של 95 אחוזים ממחיר הקלט הרגיל.

אפשר להסיר פריטי קלט ישנים שקדמו לאובייקט הדחיסה האחרון כדי לצמצם את זמני השיהוי של הבקשה. השרת נושא את כל ההקשר החיוני בתוך האובייקט הדחוס, וכך ניתן לשרשר משימות ממושכות מבלי שהחלון יתנפח למימדים שפוגעים במהירות התגובה.

איפה לשים כל מודל

ארכיטקטורה יעילה אינה מסתמכת על מודל בודד. את GPT-6 Astra כדאי להשאיר לפעולות מחקר מדעי עמוקות במיוחד והוכחת תיאוריות, שבהן הוא עדיין מוביל עם 68.1 אחוזים במבחן Terminal-Bench Science בעלות ממוצעת של 23.80 דולר למשימה, לעומת 5.47 דולר בלבד ב-Sol. להשתמש בו לניתוח יומני שגיאות שגרתיים זה שווה ערך להזמנת מונית ספיישל כדי להביא דואר מהכניסה לבניין.

מודל העבודה הראשי ברוב המערכות צריך להיות GPT-6.1 Sol. הוא מתמודד עם כתיבת קוד, ניתוח קובצי מסמכים מורכבים במבחן GDP.pdf, והפעלת ממשקי מערכת הפעלה ודפדפן באמצעות computer use על גבי Playwright או PyAutoGUI. בבדיקות מחשב של OSWorld 2.0 הוא הגיע לפער של 2.1 נקודות אחוז בלבד מביצועי Astra במאמץ מקסימלי, בפחות משביעית מהעלות למשימה, ועקף את קודמו ב-7 נקודות אחוז.

בנוסף, Sol תומך במבנה של multi-agent בתוך Responses API, המאפשר לו להאציל תת-משימות לסוכני משנה במקביל, למשל לחקור חלקים שונים של מאגר קוד בו-זמנית ולאחד את הממצאים לתשובה סופית. היכולת הזו נמצאת כרגע בבטא, ומאפשרת לבנות מערכות הפועלות בסביבות מורכבות בלי צורך בהתערבות ידנית מתמדת.

בתחתית השרשרת ניצב GPT-6 Luna, שמתאים לחילוץ שדות קבועים מחשבוניות, סיווג כוונות של פניות תמיכה וסיכומים מובנים. Luna מהיר וזול בהרבה, אך אינו מיועד להסקת מסקנות מורכבת או למשימות עצמאיות מרובות שלבים.

אל תערבבו תפקידים.

הבורות ש-OpenAI לא מבליטה

בדפי השיווק של OpenAI הכל נראה חלק, אבל בשטח יש מכשולים. בדוקומנטציה של ה-API לא מופיע ניתוב אוטומטי מובנה בין המודלים. החברה מדברת על מערכת רב-שכבתית, אך הנטל לבנות מסווג שיחליט האם קריאה מסוימת צריכה לעבור ל-Sol, Luna או Astra נופל כולו על צוות הפיתוח שלכם. מה שבאמת מעניין כאן זה שהם מצפים שתפתחו את מנגנון הניתוב הזה לבד.

שנית, שגיאות בלולאות סוכנים מייקרות את העסק. אם סוכן נתקל בכלי שבור ונכנס ללולאת ניסיונות חוזרים, עלות הריצה מזנקת במהירות. במבחני הבטיחות של החברה, Sol נכשל בדיווח על כלי חיפוש מקולקל ב-2.1 אחוזים מהמקרים, בעוד Luna הגיע לשיעור כשל של 28.7 אחוזים. כשל כזה שורף טוקנים על הזיות במקום לעצור ולבקש הכוונה מהמפתח.

ההבדל בזמני השיהוי הוא גורם נוסף: במשימות ארוכות עם קריאות אסינכרוניות לכלים, כל סבב שגוי גורר המתנה ממושכת. אם המודל אינו מקבל הוראות ברורות כיצד לנהוג במקרה של שגיאת רשת או כלי שאינו מגיב, הוא עלול לבצע קריאות חוזרות ולייצר צווארי בקבוק שמייקרים את הפעולה ומעכבים משימות תלויות אחרות באפליקציה.

ישנה גם מגבלה מקומית: מצב Astra Ultrafast אינו נתמך בכל האזורים. חברות ישראליות הכפופות לרגולציית פרטיות ותושבות מידע מנועות לעיתים משימוש במצב המהיר עקב ניתוב הנתונים דרך חוות שרתים שאינן עומדות בדרישות. המודלים עצמם שימשו חוקר בסנטינל וואן לפענוח צופן היסטורי בעזרת GPT-6 Astra, אך סוגיית תושבות המידע נותרה פתוחה.

מה לשנות בקוד מחר בבוקר

כדי להתחיל לייעל את המערכת כבר עכשיו, החליפו קודם כל את מודל ברירת המחדל ל-gpt-6.1-sol וקבעו את הפרמטר reasoning effort לערך medium. ערך זה מספק את האיזון הכלכלי ביותר ברוב משימות הפיתוח והאינטגרציה, ושומר על תגובתיות טובה בלי להכפיל את החשבונית על חשיבת סרק מיותרת.

הוסיפו לקריאות הארוכות ב-Responses API את הגדרת context_management עם compact_threshold של 200,000 טוקנים. במקביל, עדכנו את קובץ ה-AGENTS.md בארגון שלכם עם הגדרות סיום ברורות ומגבלות הרשאה, כדי שהסוכן יפנה אליכם לפני פעולות יקרות או שינויי היקף ולא יבצע לולאות סרק. תנו לו להריץ בדיקות מקומיות באופן עצמאי, אבל תדרשו אישור לפני פנייה למשאבים חיצוניים.

הקפידו גם להשתמש במנגנון mid-turn steering כדי לתקן את הסוכן בעודו עובד, מבלי לבטל משימות שכבר הושלמו בהצלחה. הגדרת גבולות ברורים ושילוב כלים אסינכרוניים יאפשרו למודל לחקור נתיבים מקבילים בזמן שבדיקות ארוכות רצות ברקע, במקום להמתין בחוסר מעש.

בינתיים, הכפתור עדיין אפור.