attention-visualization

מה זה

האפליקציה מתמקדת בהצגה חזותית של תשומת הלב בתוך מודלי Vision Transformer. מזינים לתוכה תמונה ומקבלים מפת קשב שמראה אילו אזורים בתמונה השפיעו על החלטות המודל בכל שכבה או ראש קשב. לפי מבנה הקוד ומקור הדוגמה, הריצה מתבצעת כולה בצד לקוח באמצעות מנוע WebML וגרסת הדפדפן של ספריות הטרנספורמרים.

הממשק בנוי כעמוד סטטי של JavaScript בלי תלות בשרת עיבוד חיצוני. הטכניקה מפרקת את התמונה לטלאים ומחשבת את משקלי הקשר ביניהם. כך אפשר לבחון איך מודל ראייה מנתח קשרים מרחביים בין חלקים שונים בתמונה, בלי צורך להריץ סקריפטים כבדים של פייתון או להגדיר סביבת עבודה מורכבת במחשב.

מתאים ל

• הבנת ארכיטקטורת ViT

  צפייה באופן שבו ראשי הקשב השונים מחלקים ביניהם את ניתוח חלקי התמונה בזמן אמת.

• ניפוי שגיאות ראייה

  בדיקה האם המודל מסתכל על האובייקט המרכזי או מושפע מרעשי רקע שגורמים לסיווג שגוי.

• הוראה והדרכה

  המחשה מוחשית של מנגנוני תשומת לב בראייה ממוחשבת בלי לכתוב שורת קוד בפייתון.

איפה זה נופל

ההדגמה מיועדת להמחשה חזותית בלבד ואינה כלי לסיווג או זיהוי אובייקטים שלם. המודל שרץ בדפדפן מוגבל ביכולותיו ביחס למודלי ענק שרצים על חוות שרתים. אם מפת הקשב מציגה ריכוז באזור מסוים, זה מסביר פיקסלים ולא בהכרח הבנה סמנטית של התמונה.

איך משתמשים

טוענים את העמוד בדפדפן מודרני, מעלים תמונה ובודקים את הוויזואליזציה שמופקת. אין צורך בהרשמה, אין תורים ואין הגבלות שימוש, מכיוון שהדף רץ לחלוטין אצלכם במחשב. מהירות החישוב תלויה במעבד ובמאיץ הגרפי שלכם, כך שעל מחשב חלש טעינת המשקלים והעיבוד עלולים לקחת מספר שניות.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית. התמונות שאתם בודקים מעובדות ישירות בדפדפן שלכם ואינן נשלחות לשרת מרוחק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗