AI and Open Source in 2023

הסקירה

הפרסום הזה של Sebastian Raschka מציג סקירה טכנית ממוקדת של מגמות הבינה המלאכותית וקוד הפתוח לאורך שנת 2023, כחלק מניוזלטר מקצועי שמופץ ליותר מ-200,000 חוקרים ואנשי פיתוח ברחבי העולם. הטקסט בוחן את המעבר ממוצרי הדור הקודם למערכות מתקדמות יותר, את סגירת המידע מצד חברות מסחריות גדולות, ואת המאמץ המחקרי בבניית מודלים מבוססי קוד פתוח. הניתוח מתרכז בהתפתחויות תשתיתיות ולא בפתרון מדף לצרכן הקצה.

האתר פועל כפרסום תוכן באנגלית בפלטפורמת Substack, עם מעל 211,000 מנויים רשומים שמקבלים ניתוחים חודשיים על למידת מכונה. החומר הכתוב בוחן ישירות כיצד טכנולוגיות כמו שדרוג ChatGPT עם GPT 3.5 ל-GPT 4 ופיתוח מודלים כמו Llama 2 עיצבו את השוק. אין כאן ממשק תוכנה עצמאי, אלא ניתוח ידע מעמיק שדורש הבנה טכנית מוקדמת.

הסגירות המסחרית מול מחקרי הקוד הפתוח

המאמר מצביע על כך שחברות מסחריות בוחרות לשתף פחות מידע מבעבר לגבי ארכיטקטורה ונתוני אימון פנימיים. בעוד שמאמרים על דגמים מוקדמים יותר חשפו פרטים מלאים, הדוחות של GPT-4 שומרים על המבנה בסוד, ומודל Llama 2 אינו מפרט את מאגר המידע ששימש לאימונו. מדד Foundation Model Transparency Index של Stanford מציג את Llama 2 עם ציון 54% ואת GPT-4 במקום השלישי עם 48%. אחת המגמות היא שחוקרים בתעשייה חולקים פחות ופחות מידע במאמרים שלהם ממה שנהגו בעבר. החברות מגינות על סודות מסחריים.

השוק סגור מאי פעם.

חלק משמעותי מוקדש להתקדמות מודלים פתוחים בעקבות פיתוחי Meta, אשר הולידו פרויקטים עצמאיים כמו Alpaca ו-Vicuna ברשת. המחקר בתחום הקוד הפתוח מנסה בעיקר להגיע לביצועי טקסט של מודלים גדולים באמצעות מודלים קטנים של פחות מ-100 מיליארד פרמטרים. המגבלה נובעת מעלויות חומרה כבדות וגישה מוגבלת לנתונים, מה שמאלץ חוקרים להתמקד ביעילות חישובית ולא רק בהגדלת ממדי הרשת. ארכיטקטורות חלופיות למודלי Transformer, כמו RWKV החוזר או Hyena הקונבולוציוני, נבדקו כדי לשפר ביצועים.

הסקירה מדגישה את מודל Fuyu-8B שפותח בידי Adept והוצג ב-17 באוקטובר 2023, כדוגמה ייחודית לעיבוד תמונה ישיר ללא מקודד ייעודי נפרד. רוב מודלי השפה בקוד פתוח עדיין מתמקדים בטקסט בלבד, ושיטות כמו Llama-Adapter מנסות להרחיב אותם לטיפול בקלט רב-ערוצי.

עלויות, גישה והתאמה למשתמש המקומי

מבנה התמחור של האתר כולל גישה חופשית בסיסית ורכיב בתשלום דרך תוכנית המנויים של Substack, ללא מחירון מפורט המצוין בטקסט עצמו. המאמר הספציפי פתוח לקריאה, אך המשך גישה לעדכונים חודשיים ולארכיון דורש לעיתים דמי מינוי קבועים שנגבים בדולרים. אם אתם זקוקים לפתרון תפעולי מוגדר, הניוזלטר אינו מספק כלי עבודה ישיר אלא ידע תיאורטי בלבד. לא הייתי משתמש בזה כמדריך יישומי מהיר, אלא כמקור הבנה רחב למפתחי אלגוריתמים.

השפה היא אנגלית בלבד.

ההקשר הישראלי של המאמר נוגע בעיקר למי שמפתח ומאמן מודלים ומחפש אלטרנטיבות שאינן תלויות ברישיונות מסחריים אמריקאיים מוגבלים. אין במאמר שום התייחסות לעברית או לתמיכה מקומית בשפות שאינן אנגלית, שכן רוב המודלים שנסקרו מיועדים למחקר גלובלי. מודל Claude 2 של חברת Anthropic מוזכר כבעל יתרון של תמיכה בקלט של קובצי PDF וסיכום מסמכים ארוכים, מה שמקל על בדיקת טקסטים מורכבים. מי שמחפש מערכת פרודוקטיביות סגורה לא ימצא כאן תוכנה להורדה.

• סוג גישהקוד פתוח ותשלום
• שפת פרסוםאנגלית בלבד
• זמינות טקסטקריאה פתוחה באתר