החוקר שבנה את ChatGPT מוותר על הטקסט בשביל מהירות

עבודה עם מודלי שפה בתוך לוגיקה של שרת מרגישה לעיתים קרובות כמו ניסיון לחצוב בסלע בעזרת מברשת שיניים. כותבים פניות, מתפללים שפלט ה-JSON לא יישבר, ומשלמים על שניות ארוכות של יצירת תווים עוקבת רק כדי לקבל תשובה של כן או לא. עכשיו, חברת TypeSafe AI מנסה לקחת את התהליך הזה לכיוון אחר לגמרי עם Jev, מודל החלטות שמוותר לחלוטין על יצירת טקסט חופשי לטובת חישובי סיווג ישירים.

בלי מילים, רק החלטות

המייסד דיוגו אלמיידה (Diogo Almeida), שהיה בין מחברי המחקר של InstructGPT שהוביל לפיתוח ChatGPT, מכוון להפרדה ברורה בין שיחה לבין החלטה תוכנתית. Jev לא כותב אימיילים, לא מנסח קוד ולא מייצר מענה מילולי ללקוח. המודל מקבל קלט לא מובנה, כמו הודעת תמיכה או מסמך, יחד עם רשימת שאלות ואפשרויות סגורות שהוגדרו מראש בקוד, ומחזיר רק את התשובה שנבחרה, התפלגות הסתברויות וציון ביטחון.

תחשבו על Jev כקריאת פונקציה עם בינה ברמת החזית: מצב לא מובנה נכנס, החלטות הסתברותיות מוגדרות טיפוסים יוצאות.פוסט ההשקה של TypeSafe AI

השימוש במערכת נשען על שלושה רכיבי יסוד מוגדרים בדוקומנטציה של החברה: שאלת Choice לבחירה מתוך רשימת אפשרויות קבועה ללא סדר היררכי, Score לקביעת מיקום מספרי על גבי סולם דרגות, ו-Noul לשאלות בוליאניות שמחזירות ערך הסתברותי בין 0 ל-1. כשלוגיקת הקוד שלכם זקוקה רק לדעת אם כרטיס תמיכה עוסק בחיוב כפול או בבקשת ביטול, אין שום סיבה לשלם על הרכבת משפטים מנומסים מסביב.

זה עניין של חלוקת תפקידים נקייה.

מקבילי במקום מילה אחרי מילה

ההבדל הטכנולוגי המרכזי בין Jev לבין מודל שפה טיפוסי טמון באופן הדגימה. מודלי שפה מסורתיים עובדים בצורה אוטורגרסיבית, כלומר מייצרים טוקן בודד בכל צעד וגוזרים ממנו את הטוקן הבא. התהליך הזה יוצר צוואר בקבוק כבד של זמני תגובה, הנעים בין 3 ל-329 שניות במודלים מתקדמים. לעומת זאת, Jev מדלג על שלב הפקת המילים ומפעיל דגימה מקבילית בחומרה. לפי נתוני החברה, זמני ההשהיה מסתכמים ב-70 עד 500 מילישניות בלבד לקריאה מקצה לקצה.

המהירות הזו מאפשרת להריץ מספר שאלות במקביל על אותו אובייקט מצב כמעט בלי להגדיל את זמן ההמתנה. המודל אומן בשיטה שהחברה מכנה Reinforcement Learning for Calibrated Decisions, כדי להבטיח שציוני הביטחון ישקפו במדויק את ההסתברות הסטטיסטית של כל בחירה. תמחור השימוש נקבע על 0.042 דולר למיליון טוקנים של קלט, כאשר לפי החברה אין כל חיוב על טוקנים יוצאים. המחיר נמוך במיוחד, אך השירות מנוהל כולו בענן סגור שעדיין דורש הוכחת יציבות לאורך זמן.

אין הזיות, אבל יש טעויות

TypeSafe AI ממתגת את Jev כמודל שלא יכול להזות. ברמה הטכנית, הטענה הזו מדויקת: המודל אינו פולט מחרוזות חופשיות, ולכן לעולם לא ייצר מפתח שגוי, לא ישבור תחביר JSON ולא ימציא נתון שלא סופק לו. היעדר הזיות במבנה הפלט אינו מבטיח שההחלטה עצמה נכונה מבחינה עובדתית.

המודל עדיין מסוגל לבחור בקטגוריה השגויה לחלוטין מתוך רשימת האפשרויות, ואף לעשות זאת עם ציון ביטחון גבוה. גורמים בתעשייה ביקשו לצנן את הטענות הללו, שכן החברה עדיין לא סיפקה בנצ'מרקים עצמאיים ומבוקרים מול קבוצות נתונים חיצוניות. הבדיקות שהוצגו באתר החברה מבוססות על תהליכי עבודה פנימיים שהושוו לתשובות של מודלים אחרים, ולא מול נתוני אמת מאומתים שנקבעו מראש.

בדיקה בקוד אינה פוטרת מבדיקת תוכן.

השוואה לכלים המובנים בשוק

מפתחים כבר משתמשים כיום ביכולת של Structured Outputs מבית OpenAI, המבטיחה היצמדות מוחלטת לסכימת JSON נתונה. הפער בין הגישות אינו היכולת להחזיר מבנה סדור, אלא המשאבים שמושקעים בהפקתו. LLM גנרטיבי מלא שמפעיל שרשראות חשיבה כדי לבחור קטגוריה בודדת גובה מחיר יקר בהרבה הן בחשבון החודשי והן בזמן ההמתנה של המערכת.

מן העבר השני, צוותי פיתוח רבים נעזרים במודלי אנקודר פשוטים או מודלי סיווג ייעודיים בריצה פנימית עצמאית כדי לחסוך עיכובים. Jev מנסה לגשר על הפער הזה על ידי שילוב של רמת הבנה גבוהה בסיווג מורכב יחד עם זמני תגובה של מאות מילישניות, אך במחיר של תלות מוחלטת ב-API מרוחק. החברה טרם חשפה את ארכיטקטורת המשקלים, מספר הפרמטרים של המודל, או אפשרות כלשהי להרצה מקומית.

לחכות למבחני אמת

אם אתם בונים מערכת שמתבססת על ניתוב כרטיסים, סינון בקשות ובדיקות תקינות מהירות, שווה להירשם לרשימת ההמתנה כדי לבחון את המודל על נתונים משלכם. עם זאת, לא הייתי ממהר להעביר לוגיקה תשתיתית קריטית לשירות שנמצא בגישה מוקדמת מוגבלת ומחזיק שרתים בארצות הברית בלבד. החברה אינה מפעילה תשתית מקומית בארץ, וביצועי המודל מול קלטי שפה בעברית טרם נבחנו כלל. בשלב זה, ההמתנה לבדיקות חיצוניות היא הצעד ההגיוני ביותר.