VisualWebArena

הסקירה

מי שמריץ את VisualWebArena מציב סוכן בינה מלאכותית מול דפדפן אמיתי ונותן לו לנסות לבצע 910 משימות שונות באתרים חיים. המשימות האלה מתחלקות בין שלושה אתרים נפרדים, אתר קניות, אתר לוחות מודעות ואתר דמוי Reddit, שדורשים הבנה של תמונות ולא רק קריאת טקסט. הסוכן מקבל הוראה בשפה חופשית, צופה בצילום מסך של העמוד שבו אלמנטים אינטראקטיביים מסומנים במסגרות ובמזהים ייחודיים באמצעות JavaScript, ומנסה להקליק, לגלול ולמלא טפסים עד להשלמת המטרה. זה כלי שנועד למדוד כמה המודלים הקיימים רחוקים מפעולה אמינה באינטרנט, והוא מריץ בדיקות קוד שמודדות הצלחה בפועל לפי שינוי המצב באתר בסוף התהליך.

הפער בין ביצועי אדם לבין המודלים החזקים ביותר עומד על עשרות אחוזים, והסוכנים עדיין נכשלים ברוב המשימות הפשוטות. בני אדם מגיעים בסביבה הזו להצלחה בשיעור של 88.70%, בזמן שהמודל המוביל במבחן, GPT-4o עם סימוני Set-of-Mark, מגיע לשיעור הצלחה של 19.78% בלבד. לא הייתי משתמש בזה לפרויקטים שדורשים פעולה אוטונומית אמינה לחלוטין. כדאי לכם להבין שזה סט בדיקות למפתחים וחוקרים, שבא לבדוק איפה מודלים חזותיים נתקעים מול ממשק משתמש אמיתי, ולא תוכנה שאתם מפעילים ברקע כדי לקצר תהליכים בעבודה היומיומית שלכם. הנתונים מראים שרוב המערכות עדיין מתקשות לחבר בין טקסט לתמונה.

מה קורה בשטח למודלים

התוצאות עלובות למדי במודלים ישנים.

כאשר בוחנים את הביצועים של מודלים מבוססי טקסט בלבד, רואים קריסה כמעט מלאה של הניסיונות לפעול באתרים חזותיים. מודל LLaMA-2-70B מקבל שיעור הצלחה של 1.10% בלבד, Mixtral-8x7B מגיע לשיעור של 1.76%, וגם Gemini-Pro ודגם GPT-3.5 מצליחים לסיים רק 2.20% מהמשימות בהצלחה. אפילו GPT-4 הוותיק נעצר על 7.25% כשהוא מסתמך על עץ הנגישות לבדו. הוספת תיאורי תמונות בעזרת כלי חיצוני מעלה מעט את הנתונים, אך המודלים עדיין מתקשים להתמודד עם אתר לוחות המודעות Classifieds שכולל נתונים מהעולם האמיתי, לצד חנויות מסחר וקהילות שדורשות התמצאות מהירה בפריסה של העמוד.

סוכנים מולטימודליים משפרים את המצב, אבל המספרים נשארים נמוכים מאוד ביחס לציפיות. דגם GPT-4V למשל הגיע לשיעור הצלחה של 15.05% במתכונת מולטימודלית בסיסית, וטיפס עד 16.37% כאשר הוסיפו לו את שיטת הסימון Set-of-Mark שממספרת אלמנטים במסך. מנגד, דגמים כמו CogVLM נתקעו על 0.33% בלבד, ודגם IDEFICS-80B-Instruct לא עבר את רף 0.99% גם עם עזרי סימון מתקדמים. דגמי Gemini של גוגל הציגו ביצועים בינוניים, כאשר Gemini-Pro-1.5 השיג 11.98% ודגם Gemini-Flash-1.5 הגיע לשיעור של 6.59% בלבד.

עלויות והתקנה מעשית

הקוד זמין לשימוש ללא תשלום.

כל החומרים והמשימות זמינים בקוד פתוח בתוך GitHub במסגרת מאמר מחקרי שהוצג בוועידת ACL בשנת 2024. אין כאן מנוי חודשי ואין תוכניות תמחור מדורגות, כי מדובר בסביבת בדיקה להערכת ביצועים ולא במוצר תוכנה כשירות שנמכר ללקוחות. האתר מציע קישורי הדגמה חינמיים על גבי שרתי אמזון בשביל התרשמות ראשונית משלושת האתרים שנבדקים, אך היוצרים מציינים במפורש שאסור להשתמש בשרתים הציבוריים האלה להרצת בדיקות רשמיות. כדי להריץ את המערכת כמו שצריך, תצטרכו להוריד את קובצי הריצה ולהרים את הסביבות בעצמכם בעזרת Docker.

זה שווה את זה רק אם אתם מפתחים סוכני רשת או חוקרים יכולות ראייה ממוחשבת במודלים. אם אתם מחפשים כלי עבודה שימלא עבורכם טפסים, יערוך השוואת מחירים או ינהל שיחות באתרים, הכלי הזה לא ייתן לכם מענה ישיר. כל האתרים והמשימות בסביבה בנויים באנגלית בלבד, ואין שם שום בדיקה או התייחסות לממשקים בעברית או לאתרים מקומיים. מה שבאמת מפריע כאן הוא העובדה שאתרי ההדגמה פתוחים לכל העולם, כך שהם עלולים להשתנות או לקרוס אם תנסו להסתמך עליהם בלי התקנה מקומית על שרת שלכם.

הפער בין הבטחות למציאות נשאר עמוק.

• מחיר רישויקוד פתוח ללא תשלום
• שיעור הצלחה מרבי19.78% לכל היותר
• ממשק משימותאנגלית בלבד ללא עברית