Open challenges in LLM research

הסקירה

כשנכנסים למאמר של צ'יפ הויין באתר שלה, מגלים סקירה טכנית מקיפה שממפה עשרה כיווני מחקר מרכזיים במודלי שפה גדולים, ולא ממשק עבודה או כפתור התחברות. היא מנתחת את האתגרים ההנדסיים שמונעים ממודלים להשתלב בצורה חלקה במוצרים אמיתיים, החל מהזיות ועד מגבלות זיכרון בחומרה. הטקסט נשען על שיחות שלה עם אנשי מקצוע וצוותים בחברות כמו Dropbox וגם Anthropic, ומציג פתרונות מחקריים לצד ניירות עמדה מהאקדמיה. מי שמחפש פה תוכנה להתקנה מיידית יתאכזב מהר מאוד, כי מדובר במפת דרכים תיאורטית ומעשית למפתחים ולא במוצר צריכה.

החומר הזה כתוב כולו באנגלית טכנית צפופה, עמוס בהפניות למאמרי מחקר ומתאים לחוקרים או למהנדסי בינה מלאכותית שמתכננים ארכיטקטורת מערכת מאפס.

הזיות, הקשר ומידע רב ערוצי

הבעיה הראשונה שמוצגת היא הנטייה של מודלים להמציא עובדות, קושי שמסומן על ידי חברות בתעשייה כחסם העיקרי למעבר לסביבת ייצור. המאמר סוקר שיטות מדידה וצמצום של התופעה, ומזכיר כלים כמו NeMo Guardrails של חברת NVIDIA לצד טכניקות מבוססות הקשר כמו שרשרת מחשבה. הנושא השני עוסק באופטימיזציה של אורך ההקשר ובשימוש הנרחב בשיטת RAG, שבה גוזרים מסמכים למקטעים, מייצרים מהם וקטורים ושומרים אותם בבסיס נתונים ייעודי. מחקרים שמצוטטים שם מוכיחים שמודלים מתקשים לקלוט מידע שקבור באמצע חלון ההקשר, ולכן סתם לדחוף עוד טקסט לא יפתור לכם את הבעיה.

חברות בתעשייה רואות בהזיות את החסם הראשון במעלה לאימוץ מודלים בסביבת ייצור.

התחום השלישי מדבר על שילוב מולטימודלי של טקסט, תמונות, וידאו ונתוני טבלאות. הצורך בזה מורגש היטב ברפואה, שם רופא נעזר במקביל בסיכומי ביקור ובסריקות דימות, או במסחר אלקטרוני שבו מקשרים תיאור של מוצר לתמונות שלו. הויין טוענת שדאטה טקסטואלי ברשת הולך ואוזל, ומודלים שיודעים לעבד כמה חושים במקביל יציגו ביצועים טובים יותר, מעבר לסיוע קונקרטי לאנשים עם לקויות ראייה לגלוש ברשת. היא מזכירה מודלים בולטים בתחום כמו Flamingo של חברת DeepMind ומודל CLIP של OpenAI, שממחישים את הכיוון הזה.

דחיסת מודלים מתקדמת במהירות שיא. בנובמבר 2022 נדרשו 375GB של זיכרון כדי לאמן גרסה של GPT 3.5 בעלת 175 מיליארד פרמטרים. במאי 2023 מודל Guanaco 7B כבר רץ על 6GB בלבד עם כימות של 4 ביט, ואפשר להריץ אותו על מחשב נייד פשוט. הטכניקות שמניעות את השינוי הזה הן קוונטיזציה, זיקוק ידע, פירוק מטריצות בדרגה נמוכה וגיזום משקולות. מה שבאמת מפריע כאן הוא שאין כאן שום קוד מוכן להרצה, אלא רק מראי מקום למחקרים.

עלויות, קהל יעד ומגבלות

מבחינת כסף, מדובר במאמר בלוג פתוח לקריאה חופשית שאינו דורש תשלום כלל. עם זאת, היישום המעשי של מה שכתוב בו כרוך בעלויות כבדות. אתם תצטרכו לשלם על שרתי עיבוד, אחסון וקטורי וקריאות API לשירותים חיצוניים. הנתונים הרשמיים מתארים את הכלי כמוצר קוד פתוח לצד מודל בתשלום, בלי מחירון נקוב או מדרגות מחיר מוגדרות. לא הייתי משתמש בזה למשימות פרודוקטיביות יומיומיות כמו סיכום פגישות או ניהול יומן אישי. החומר מיועד אך ורק לצוותים טכניים שבונים תשתיות בעצמם ורוצים לחסוך שגיאות ארכיטקטורה יקרות.

עברית בכלל לא מוזכרת בסקירה הזו. המודלים והמחקרים שנבדקו אומנו בעיקר על אנגלית, ולכן התמודדות מקומית עם שפה מימין לשמאל דורשת התאמות עצמאיות שלכם.

• מחיר קריאהחינם ברשת
• תמיכה בעבריתלא מופיעה בחומר
• אופי הכליסקירת מחקר עיונית