exbert

מה זה

מזינים טקסט באנגלית, בוחרים מודל, ומקבלים תצוגה גרפית שמפרקת את משקלי ה־attention בין המילים. הממשק חושף מה כל ראש תשומת לב רואה בכל שכבה של הרשת, כך שאפשר לעקוב אחרי האופן שבו ההקשר נבנה לאורך המודל.

הקוד מריץ שורה של מודלים מוכרים מהמשפחה הזו, ביניהם גרסאות בסיס וגדולות של גוגל ברט, דיסטילברט הרגיל וכזה שאומן על סקוואד, דיסטילרוברטה, ואפילו דיסטילג'יפיטי 2. המערכת הזו היא בעצם גרסה רזה וממוקדת של פרויקט exBERT המקורי, שממנה הורידו את אינדוקס הקורפוס ואת החיפוש לפי וקטורים כדי להאיץ את התקשורת ברשת.

מתאים ל

• חקר שכבות במודלי שפה

  בדיקה של האופן שבו ראשי תשומת לב שונים מתמקדים במילות יחס, שמות עצם או הקשרים תחביריים.

• הוראה והסברה של טרנספורמרים

  הדגמה חזותית של תהליך חישוב המשקלים ברשת, מתאים להרצאות או סדנאות על ארכיטקטורת ברט.

• השוואה בין ארכיטקטורות

  השוואת דפוסי הייצוג של אותו משפט בין ברט המלא לגרסאות מזוקקות כמו דיסטילברט.

איפה זה נופל

זו לא פלטפורמה לניתוח טקסטים ארוכים או לבדיקת מודלים מודרניים גדולים, אלא כלי ממוקד במודלים קלאסיים כמו ברט ודיסטילברט. בנוסף, חסרות כאן יכולות החיפוש והאינדוקס של הפרויקט המלא, כך שאי אפשר לחפש דפוסים דומים בקורפוס רחב. המודלים שמוגדרים בקוד מיועדים בעיקר לאנגלית, ואין כאן התאמה לשפות אחרות.

איך משתמשים

נכנסים לדפדפן, מזינים את הטקסט או משתמשים בדוגמה קיימת, וצופים במפות הקשרים. אין צורך בהרשמה או ביצירת חשבון, והמערכת פתוחה לשימוש ישיר. השרת רץ על שדרוג מעבד, ללא מאיץ גרפי ייעודי, אבל בגלל שמדובר בגרסה קלה שמחזירה רק נתוני ויזואליזציה ולא חיפושי שכנים מורכבים, התגובה מול מודלים קטנים מהירה יחסית.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0, שמאפשר שימוש חופשי, שינוי הקוד והרצה עצמאית. כל טקסט שאתם מזינים עובר עיבוד בשרת המרוחק, ולכן לא מומלץ להדביק בו מידע רגיש או סודי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗