llm-transparency-tool-demo
רץ בדפדפןfacebookרישיון לא דווח2024-04-05
הכלי מציג את החישובים הפנימיים של מודלי שפה ומאפשר לראות איך מילים מקבלות החלטות ברמת הנוירונים. הוא מיועד לחוקרים שמפתחים מודלים ורוצים לנתח את שכבות הרשת.
- —הורדות בחודש
- 66לייקים
מה זה
אתם בוחרים מודל מתוך הרשימה, מזינים פרומפט טקסטואלי רגיל ומריצים הסקה. במקום לקבל רק תשובה כתובה, המסך מציג גרף אינטראקטיבי שמפרק את התרומה של כל רכיב לעיבוד המילה שנבחרה. המערכת חושפת ייצוגים פנימיים אחרי כל בלוק, מראה לאילו מילים באוצר המילים הם משליכים, ואיזה רכיב חיזק או החליש כל מילה אפשרית.
הקוד מתבסס על ספריית TransformerLens כדי להתחבר לקרביים של המודל, ובגרסה הזאת מוגדר המודל הקטן facebook/opt-125m. דרך הממשק מקליקים על קשתות בגרף כדי לחקור ראשי קשב ספציפיים, או לוחצים על בלוקים מסוג FFN כדי לראות אילו נוירונים בודדים הופעלו בתהליך.
מתאים ל
- ניתוח ראשי קשב
לחיצה על קשתות וראשים בגרף כדי לראות אילו מילים קודמות השפיעו על בחירת הטוקן הבא.
- בדיקת נוירונים בשכבות
מעקב אחרי שכבות הפיד פורוורד וזיהוי הנוירונים הספציפיים שקידמו או בלמו מילים מסוימות.
- חקר יכולות הסבר למודל
הקרנת הייצוגים הפנימיים לתוך אוצר המילים כדי להבין איך ההחלטה התגבשה בכל שכבה.
איפה זה נופל
ההדגמה הנוכחית שבורה לחלוטין ברשת ולא ניתן לגשת אליה ישירות. בנוסף, המודל המוגדר בה הוא opt-125m, מודל ישן וזעיר מאוד שלא מייצג את ההתנהגות של מודלי ענק מודרניים. הכלי גם לא תומך בכל מודל שתרצו ישר מהקופסה, אם המודל לא נתמך כבר בספריית TransformerLens, תצטרכו לכתוב בעצמכם מחלקת פייתון שלמה שתמפה את ההוקים הפנימיים שלו.
שאלות
נפוצות
האם אפשר לפתוח את האפליקציה עכשיו בדפדפן?
לא, ההדגמה בעמוד נמצאת במצב תקלה ולא נבנתה בהצלחה. תצטרכו להתקין אותה בעצמכם על המחשב ממאגר הקוד.
האם אפשר להריץ את הכלי מקומית?
כן, יש פקודות דוקר מוכנות בריפו, וגם הוראות להתקנה ידנית דרך קונדה, יארן וסטרמליט. זה דורש מעט ידע בפייתון והרצת פקודות במסוף.
במה זה שונה מלהשתמש במודל רגיל?
מודל רגיל מקבל טקסט ומחזיר המשך בלי הסברים. הכלי הזה עוצר בכל שלב ומאפשר לראות את המשקולות, ראשי הקשב והנוירונים שפעלו מאחורי כל מילה.
איך משתמשים
נכון לעכשיו אי אפשר להשתמש בהדגמה בדפדפן כי היא נמצאת במצב שגיאת בנייה. כדי לראות את זה עובד, צריך לשכפל את הריפו מגיטהאב ולהריץ מקומית דרך דוקר או בעזרת סביבת קונדה, התקנת יארן והפעלת שרת סטרמליט.
כשמריצים מקומית, בוחרים מודל, כותבים פרומפט ומריצים בלחיצה. על מחשב רגיל ללא כרטיס גרפי חזק, מודל של 125 מיליון פרמטרים ירוץ יחסית מהר, אבל מודלים גדולים יותר ידרשו זיכרון משמעותי.
הרישיון
בקובץ המאגר מצוין רישיון CC BY-NC 4.0, שמתיר שימוש, שינוי ושיתוף של הקוד למטרות מחקר ולא מסחריות בלבד. אם תרצו לשלב את זה במוצר מסחרי, לא תוכלו לעשות זאת ישירות.