Google "We Have No Moat, And Neither Does OpenAI"

הסקירה

מי שנכנס לקישור הזה מגיע לניוזלטר של SemiAnalysis, שמציג מסמך פנימי שהודלף מתוך Google ועוסק בקרב מול OpenAI וקהילת הקוד הפתוח. הטקסט נכתב במקור על ידי חוקר בתוך החברה, והופץ דרך שרת Discord ציבורי במאי 2023. המערכת באתר עצמו מפרסמת ניתוחים טכנולוגיים בתשלום, אך המסמך המסוים הזה מוצג לקריאה ישירה. הוא טוען ששתי ענקיות הטכנולוגיה מאבדות את היתרון התחרותי שלהן מול מודלים פתוחים שרצים על חומרה ביתית.

המסמך מנתח מה קרה מרגע שדלף המודל LLaMA של Meta, ואיך מפתחים עצמאיים פתרו בעיות שחברות ענק שרפו עליהן מיליוני דולרים. פתאום אפשר להריץ מודלי יסוד על טלפון Pixel 6 בקצב של 5 טוקנים לשנייה, או לאמן התאמה אישית בערב אחד על מחשב נייד חזק. בעזרת שיטות כמו LoRA, קבוצות קטנות הצליחו להביא מודל של 13B פרמטרים בעלות של 100 דולר לתוצאות שמתחרות במודלים של 540B שפיתוחם עלה 10M דולר.

העולם הזה מתקדם מהר.

מה שהקוד הפתוח מנצח בו

הכותב מזהיר את עובדי החברה שפיתוח מודלי ענק מאפס פשוט מאט אותם, כי אימון מחדש זורק את כל השיפורים המצטברים שנבנו על הגרסה הקודמת. במקום להשקיע במודלים סגורים ומוגבלים, מפתחים עצמאיים משתמשים בנתונים קטנים ומסוננים היטב כדי להגיע לביצועים שמזכירים את ChatGPT בלי לשלם על חוות שרתים עצומות. אנשים לא ישלמו על מודל מוגבל כשיש חלופות חופשיות ופתוחות באיכות דומה. השילוב של קבצים מכווצים ועיבוד מהיר מראה שהגודל הוא כבר לא יתרון שמבטיח ניצחון.

זה לא כלי עבודה רגיל.

אם אתם מחפשים תוכנת מדף שלוחצים בה על כפתור ומקבלים סיכומי פגישות, לא תמצאו אותה כאן. מדובר במסמך תיאורטי שמתאים למפתחים, חוקרי בינה מלאכותית או מנהלי מוצר שצריכים להבין לאן השוק נע לפני שהם חותמים על חוזים יקרים. המסמך כולו כתוב באנגלית טכנית, בלי שום התייחסות לעברית או לצרכים מקומיים, כך שתצטרכו לקרוא אותו בעיניים מקצועיות ולהשליך ממנו על ארכיטקטורת המחשוב שלכם.

• גישה למסמךפתוחה בחינם באתר
• דמי מנוי לפרסומיםקיים מסלול תשלום נוסף
• מוצר תוכנהאין כלי עבודה בפועל

כמה זה עולה ולמי זה מיועד

הקריאה של הפוסט הספציפי הזה לא עולה כסף, אבל SemiAnalysis מפעיל מודל מנויים בתשלום שבו הוא מוכר סקירות מעמיקות יותר על תעשיית השבבים והתוכנה. אין באתר מחירון שקוף של כל מדרגות התשלום בתוך הטקסט של ההדלפה, מלבד האפשרות להירשם לעדכונים בתשלום כדי לתמוך בפרסומים בלי פרסומות. מי שמעוניין רק בתוכן שהודלף מתוך Google מקבל את כל הטקסט במלואו בעמוד עצמו, בלי שום דרישה לשלוף כרטיס אשראי.

מה שבאמת מפריע כאן הוא שמשתמשים שמחפשים כלי פרודוקטיביות ימצאו ניתוח אסטרטגי ולא מוצר שעושה עבודה בפועל. המסמך הזה שווה את הזמן שלכם רק אם אתם מתלבטים האם לבנות מערכת פנימית על גבי קוד פתוח במקום להתחייב לתשלום חודשי עבור API סגור של חברות ענק. לא הייתי משתמש במידע הזה כהבטחה שהפתרונות הפתוחים כבר מוכנים לייצור בארגון מורכב, כי התחזוקה שלהם עדיין דורשת ידע הנדסי רב.

הפערים הטכניים עדיין קיימים.

לפני שאתם מבססים תוכניות עבודה על המסקנות של החוקר, זכרו שמדובר בדעה אישית של עובד בודד ולא בעמדה רשמית של Google או של עורכי הניוזלטר. הטקסט הזה מסביר למה מודלים מותאמים אישית שמאומנים בכמה שעות הופכים לרלוונטיים, אבל הוא לא פותר את בעיות האבטחה והדיוק שכל צוות פיתוח נתקל בהן. קחו ממנו את הכיוון הטכנולוגי בלבד, ואל תתייחסו אליו כמדריך הפעלה.

האמת הלא נוחה היא שאנחנו לא בעמדה לנצח במרוץ החימוש הזה, וגם לא OpenAI.

חוקר בתוך Google