מה זה בינה מלאכותית גנרטיבית ואיך זה באמת עובד

מתמטיקה היא עניין מרתק, אבל היא הדבר הראשון שמבריח אנשים שמנסים להבין טכנולוגיה חדשה. אם תשאלו מנהל מוצר או מפתח ממוצע מה זה בינה מלאכותית גנרטיבית, תקבלו בדרך כלל בליל של מונחים כמו טרנספורמרים, פרמטרים והסתברות רב-ממדית. בפועל, הרעיון מאחורי המערכות האלה פשוט בהרבה. עכשיו, כשחברות כמו Google ו-IBM הופכות את הכלים האלה מניסויי מעבדה לפלטפורמות עבודה יומיומיות, שווה להבין את המנגנון בלי המסכות השיווקיות.

המונח נשמע מורכב, אבל העיקרון מפתיע בפשטותו.

מחיזוי אותיות ליצירת תוכן

בינה מלאכותית גנרטיבית, או GenAI, היא מערכת שמייצרת תוכן חדש כמו טקסט, קוד תוכנה, תמונות או אודיו על בסיס חיזוי המרכיב הבא ברצף. לפי ההסבר של IBM, מודלים אלה נשענים על למידה עמוקה כדי לזהות ולקודד דפוסים וקשרים בתוך כמויות עתק של נתונים, ואז משתמשים במידע הזה כדי לענות על בקשות משתמשים בשפה טבעית ולייצר פלט רלוונטי ומקורי. הטכנולוגיה הזו זינקה לתודעה הציבורית בסוף שנת 2022 עם השקת ChatGPT, ומאז הגיעה במהירות לדיוני הנהלה.

מחקר של חברת הייעוץ McKinsey מצא ששליש מהארגונים כבר משתמשים בבינה מלאכותית גנרטיבית באופן קבוע בלפחות פונקציה עסקית אחת. במקביל, חברת המחקר Gartner חוזה כי עד שנת 2026 יותר מ-80 אחוזים מהארגונים יטמיעו יישומי GenAI או ישתמשו בממשקי תכנות ייעודיים. זה קצב אימוץ שלא ראינו בעבר סביב שום כלי תוכנה.

ההבדל בין מערכות אלו לבין מערכות בינה מלאכותית מהדור הקודם הוא מהותי. AI מסורתי ומנבא בודק נתונים קיימים כדי לסווג אותם או לקבל החלטה: האם הדוא"ל הזה הוא ספאם, מה הסיכוי שלקוח ינטוש, או איזה מוצר להציע בחנות לפי היסטוריית רכישות. הוא לא מייצר דבר מעצמו, אלא פועל כמסווג סטטיסטי. לעומתו, AI גנרטיבי לוקח את הדפוסים שלמד ובונה מהם משפט שלם, פונקציית תוכנה, תמונה או מסמך שלא היו קיימים קודם לכן. לפי ההסבר של IBM, המודל פועל באמצעות תרגילי השלמת משפטים וחיזוי המרכיב הבא ברצף הנתונים. מתברר שניחוש סטטיסטי מדויק מספיק נראה לעיתים קרובות כמו אינטליגנציה אנושית.

איך מודל שפה עובד

הבסיס לכל מערכת טקסט כזו הוא מודל תשתית, המכונה Foundation Model. כדי לבנות אותו, צוותי מחקר מאמנים רשת עצבית עמוקה על כמויות אדירות של טקסט גולמי, לא מובנה ולא מתויג שנאסף מהאינטרנט וממאגרי מידע רחבים. במהלך שלב האימון הראשוני, המודל מבצע מיליוני תרגילי השלמת משפטים כדי לחזות את המילה הבאה, תוך עדכון מיליארדי פרמטרים ברשת. התהליך הזה דורש אלפי מעבדים גרפיים, שבועות של עיבוד רצוף ומיליוני דולרים. לכן פרויקטים כמו Llama 2 של Meta נועדו לחסוך ממפתחים את ההוצאה הזו.

אחרי שהאימון מסתיים, המודל הוא מעין כלליסט: הוא מזהה דפוסי שפה, אך אינו יודע להתנהג כמו עוזר אישי שימושי או מדויק למשימה מוגדרת. כאן נכנס שלב הכוונון העדין, Fine-tuning, שבו מזינים לו דוגמאות ממוקדות של שאלות טיפוסיות ותשובות רצויות בפורמט הרצוי. אם למשל בונים בוט שירות לקוחות, מזינים לו אלפי מסמכים הכוללים שאלות נפוצות ותשובות מאושרות. לעיתים קרובות חברות פיתוח מוציאות את עבודת התיוג הזו לחברות חיצוניות כדי לקצר זמנים.

כדי לעדן את ההתנהגות עוד יותר, מפעילים משוב אנושי, RLHF. בתהליך זה בני אדם מדרגים תשובות שונות לאותו פרומפט ומתגמלים את המודל על תשובות מדויקות, בטוחות ומנומסות. המודל ממשיך לעבור הערכה וכוונון תכוף בצוותי הפיתוח, לעיתים אפילו על בסיס שבועי, בעוד שמודל הבסיס עצמו מתעדכן רק פעם בשנה או שנה וחצי.

גם אחרי כל אלה, מודל שפה סגור בתוך המידע שעליו אומן. כדי לתת לו גישה למידע פנימי עדכני של ארגון בלי לאמן אותו מחדש, משתמשים בטכניקת RAG, הרחבת מידע מבוססת שליפה. לפני שהמודל מייצר תשובה, המערכת שולפת מסמכים רלוונטיים ממאגר חיצוני מוגדר ומצרפת אותם לשאילתה כהקשר. היתרון הגדול בגישה זו הוא שקיפות מוחלטת של המקורות ומניעת המצאת עובדות.

מפרומפט בודד למערכת סוכנים

אם צ'אטבוט רגיל ממתין לפרומפט ומחזיר פסקה, סוכן AI לוקח את המנגנון הזה צעד אחד קדימה. סוכן בינה מלאכותית הוא מערכת שמשתמשת במודל שפה כמנוע קבלת החלטות, אך כוללת גם זיכרון, יכולת תכנון רב-שלבי וחיבור ישיר לכלים תוכנתיים חיצוניים. במקום להסתפק בהסבר על בעיה, הסוכן מסוגל לפעול.

לפי דוקומנטציית Google Cloud, הפלטפורמות החדשות מאפשרות לבנות סוכנים שיודעים לבצע משימות מורכבות כמו הפקת דוחות, עדכון מערכות מלאי וניתוח נתונים בתוך BigQuery. סוכן יכול לקבל הוראה כללית כמו עדכון לקוח על עיכוב במשלוח, לפרק אותה לצעדים, לשלוף את מספר ההזמנה ממאגר הנתונים, לבדוק את הסטטוס מול חברת השילוח דרך API, ולשלוח הודעת דוא"ל מנוסחת היטב.

הפלטפורמה המעודכנת Gemini Enterprise Agent Platform מחליפה את המותג Vertex AI, וכוללת גישה ליותר מ-200 מודלים כדי לאפשר בחירה בין עלות לביצועים. לצד זה, כלי כמו Google Antigravity מאפשר לתזמר סוכנים הפועלים במקביל על פרויקט שלם, למשל יצירת קוד להשקת מוצר לצד הפקת הודעות שיווקיות. סוכן כבר לא כותב טיוטה בלבד, אלא מפעיל תהליך עסקי שלם.

איפה שהמודלים עדיין נופלים

למרות היכולות המרשימות, אסור להתבלבל בין שטף שפתי להיגיון אמיתי. הבעיה הבולטת ביותר היא הזיות עובדתיות: מודלי שפה עלולים להמציא נתונים, שמות של פסקי דין או מספרי הזמנות, ולנסח אותם בביטחון עצמי מוחלט. מכיוון שהמודל רק מנחש רצפי מילים, אין לו מנגנון אימות פנימי שבודק אם הטענה נכונה במציאות.

מעבר לכך, מודלים סובלים ממגבלות זיכרון בהקשרים ארוכים, קושי בביצוע היקשים לוגיים מורכבים ורגישות גבוהה לניסוח הבקשה. הצד המסוכן באמת הוא שאלת האחריות. אם סוכן שירות לקוחות מבטיח הנחה של 80 אחוזים בטעות, החברה תצטרך לספוג את הנזק; ספקיות הענן מבהירות בדפי התנאים שהאחריות על הפלט היא של המפתח בלבד.

לפי דוח של גוגל, 83 אחוזים מהארגונים נדרשים לעדכן את התשתיות שלהם כדי לתמוך בסוכני בינה מלאכותית. זה לא שינוי קוסמטי שמתחיל ומסתיים בהתקנת חבילת פייתון, אלא הוצאה מוחשית על כל מערך הנתונים והאבטחה.

לדעתי, לא הייתי ממהר להפקיד תהליכים פיננסיים קריטיים בידי סוכן אוטונומי לפני שנבחנו אלפי תרחישי קצה. זה שווה רק אם המערכת מגובה בבקרות קשיחות.

הזווית המקומית וחישובי עלות

כאשר בוחנים הטמעה בישראל, האתגרים אינם מסתכמים באיכות התשובה. השאלה הראשונה היא היכן יושב המידע. ארגונים רבים הכפופים לרגולציה מחמירה או לפרויקט נימבוס הממשלתי נדרשים לעבד נתונים באזור הענן המקומי בישראל, me-west1 של גוגל. בדוקומנטציה של ספקיות הענן לא כל המודלים המתקדמים זמינים לעיבוד מלא באזור תל אביב, ולעיתים קריאות API נשלחות לשרתים באירופה או בארצות הברית.

נוסף על כך, הרצת סוכנים מרובים מייצרת עלויות תשתית ושיהוי משמעותיים. בכל פעם שסוכן מתלבט, מתקן את עצמו, קורא לכלי חיצוני ושולח שאילתה נוספת למודל, מונה הטוקנים ממשיך לדפוק וזמן ההמתנה של המשתמש מתארך. עברית מוסיפה שכבת מורכבות משלה: מודלים מסוימים עדיין מפרקים אותה לפלחי מילים קטנים יותר, מה שמייקר את השימוש ומאט את המענה ביחס לאנגלית.

עלות הבעלות הכוללת של מערכות אלו כוללת גם איטרציות פרומפטים מרובות, ניטור ביצועים בכלי MLOps והתאמת תשתיות. מי שמניח שההוצאה מסתכמת בתשלום חודשי קבוע על מנוי יגלה מהר מאוד הפתעות בחשבון החודשי של ספקית הענן.

הצעד הבא שלכם

אם אתם מתכננים לשלב מערכות כאלה בעסק שלכם, הדרך הנכונה היא להתחיל בקטן ולא לקפוץ ישר לסוכנים שמבצעים שינויים במסד הנתונים. חברות כמו גוגל מספקות עד 300 דולר בקרדיטים חינם להתנסות ראשונית במוצרי AI and machine learning, וסטארטאפים בתחום ה-AI יכולים לקבל עד 350,000 דולר בקרדיטים דרך תוכנית ייעודית.

בשלב הראשון, הגדירו מנגנון של אדם בתהליך, Human-in-the-loop, שמאשר פעולות רגישות לפני שהן יוצאות לפועל. בדקו את ביצועי המודל בעברית על נתונים אמיתיים שלכם וודאו מהו זמן התגובה בפועל. עד שמישהו ימציא מודל שלא טועה לעולם, שיקול דעת אנושי נשאר אמצעי הבקרה הזול והאמין ביותר שיש לכם.