LLM Visualization

הסקירה

כשפותחים את האתר של ברנדן בייקרופט בכתובת bbycroft.net מקבלים מודל שפה שלם שמרחף בתלת מימד מול העיניים. הוא מפרק מודלים כמו nano-gpt עם 85,000 פרמטרים, אבל כולל ברשימה שלו גם גרסאות כבדות כמו GPT-2 small, את GPT-2 XL ואת GPT-3 המלא. במקום לתת לכם לקרוא מאמר אקדמי יבש על טרנספורמרים, אתם רואים בדיוק איך מספרים רצים בתוך מטריצות ענקיות של חישוב. המטרה המוצהרת של ההדגמה הבסיסית שם פשוטה להפליא, לקחת רצף של שש אותיות באנגלית, במקרה הזה C B A B B C, ולסדר אותן לפי סדר האלפבית עד לקבלת התוצאה ABBBCC.

זה לא צעצוע שכותב מיילים.

המערך הגרפי מחלק כל אות למה שנקרא טוקן, ובונה מזה אוצר מילים מצומצם שבו האותיות A, B וגם C מקבלות את האינדקסים 0, 1 ו־2 בהתאמה. משם הרצף הופך לשורה של מספרים, 2 1 0 1 1 2, שנכנסת ישירות לחישובים הפנימיים של המודל. בתצוגת התלת מימד, כל תא ירוק מציג מספר שנמצא בעיבוד פעיל ברגע זה, בזמן שכל תא כחול מציג משקולת קבועה של הרשת, כמו ערכים של מינוס 0.7 או 0.8 שמופיעים ישירות על המסך. כל מספר כזה ברצף הופך מיד לווקטור של 48 ממדים שנבחר במיוחד עבור המודל הזה, ונקרא וקטור שיכון או embedding.

איך המטריצות זזות בפנים

אחרי שלב השיכון הראשוני, המספרים נדחפים קדימה דרך שכבות של טרנספורמר שמכילות מנגנוני נרמול שכבות, תשומת לב עצמית מרובת ראשים ורשתות הזנה קדמית מסוג MLP. בסוף המסלול המודל מגיע לשכבה ליניארית ולפונקציית softmax שממירה את כל הערכים להסתברות ברורה של הטוקן הבא ברצף. במקום הניחוש השישי ברצף האותיות, האלגוריתם מציג הסתברויות מדויקות האם האות הבאה תהיה A, B או C, ומחליט בביטחון גבוה שזו תהיה האות A. את התוצאה הזו הוא מחזיר חזרה לקלט למעלה כדי להמשיך להריץ את הניחוש הבא שוב ושוב.

זה שווה את זה רק אם אתם באמת מנסים להבין איך ארכיטקטורת GPT עובדת ברמת החישוב הבודד ולא מחפשים עוזר שיכתוב לכם מסמכים.

התוכנה מוגדרת תחת תמחור בתשלום, אבל הגישה באתר פתוחה לבדיקה של ההדמיות והפרמטרים הבסיסיים. אם אתם מצפים לקבל מחירון מסודר עם מנויים חודשיים בשקלים או מסלולים מדורגים לצוותים, אין שום דבר כזה בעמוד הראשי. לא הייתי משתמש בזה לפרודוקטיביות במובן המשרדי הרגיל של המילה, כי אין פה שום פיצ'ר של ניהול משימות או סיכום טקסטים מהיר. מה שבאמת מפריע כאן הוא שאין באתר מידע על עלויות המשך מעבר להגדרה היבשה שהוא שירות בתשלום, וצריך לחפור כדי להבין מתי בדיוק נדרש ארנק.

מה קורה עם עברית

עברית לא קיימת כאן בכלל, וגם אין שום סיבה טכנית לחפש אותה בדף כזה. כל הממשק בנוי באנגלית מלאה, החל מתוכן העניינים שכולל הסברים על Layer Norm ועד להסברים על התחביר של המודל. אוצר המילים שנבדק במודל הקטן מכיל שלוש אותיות לטיניות בלבד, כך שאי אפשר להזין לשם מילים בעברית ולראות איך החלוקה לטוקנים משתנה. הדפדפן שלכם יצטרך להתמודד עם עיבוד תלת מימדי כבד למדי, בייחוד אם תנסו לעבור מההדגמה של 85,000 פרמטרים אל מודלים מפלצתיים כמו GPT-3.

המחשב שלכם יתאמץ מאוד.

התצוגה הזו מתאימה לחוקרים, למפתחי בינה מלאכותית ולסטודנטים שחייבים לראות בעיניים איך אלגברה ליניארית וחישובי מטריצות הופכים לטקסט מנוחש. היא לחלוטין לא מיועדת לאנשי שיווק, למנהלי מוצר או למי שמחפש פתרון אוטומציה לעסק שלו שרץ ברקע. לפני שאתם מתחילים להעמיס את כרטיס המסך שלכם עם מודלים כמו GPT-2 XL, כדאי לכם להתמקד במסלול המודרך של nano-gpt שמסביר את כל רכיבי הליבה בצורה מסודרת דרך מקש הרווח. זה כלי שמיועד להבנה עמוקה של החומרה והמתמטיקה, וכל ניסיון להשתמש בו לצרכים משרדיים פשוט יבזבז לכם את הזמן.

• שפת ממשקאנגלית בלבד
• תמחור רשמימוגדר בתשלום
• מבנה מודל85,000 פרמטרים