VisualWebBench
קוד פתוחvisualwebbenchapache-2.02024-04-02
מאגר לבדיקת היכולת של מודלי ראייה ושפה לפעול בתוך דפי אינטרנט אמיתיים. הוא מרכז משימות הבנה, קריאת טקסט ומיקום אלמנטים על גבי צילומי מסך.
- 987הורדות בחודש
- 18לייקים
מה זה
המאגר מציע 1,500 דוגמאות שעברו אימות וסינון אנושי, ונאספו מתוך 139 אתרים פעילים הפרוסים על פני 12 תחומים שונים, כמו מדע, ספורט, לייפסטייל וטיולים, עם חלוקה ל־87 תת-תחומים. כל הדוגמאות מנוסחות במבנה אחיד של שאלה ותשובה, ומדמות אינטראקציה טבעית של משתמש אנושי מול דפדפן אינטרנט.
התוכן מחולק לשבע משימות שונות שמיוצגות בקובצי בדיקה נפרדים: תיאור כללי של הדף, שאלות ותשובות על התוכן, זיהוי טקסט בכותרות, זיהוי טקסט באלמנטים גרפיים, איתור ומיקום של אלמנטים ספציפיים, חיזוי הפעולה הבאה שצריך לבצע, ומיקום הפעולה על המסך. החלוקה הזו בודקת את המודל בשלוש רמות שונות, החל מהבנת האתר ברמת המאקרו, דרך התמקדות באלמנט בודד, ועד לרמת תכנון וביצוע של פעולה.
מתאים ל
- הערכת סוכני רשת אוטונומיים
בדיקת יכולת המודל לתכנן צעדים ולחזות את הפעולה הבאה מול ממשק משתמש אמיתי.
- מדידת יכולות לוקליזציה
בחינה מדויקת של יכולת המודל לאתר כפתורים, תפריטים ושדות קלט על גבי מסכים עמוסים.
- בנצ'מרק ליכולות OCR גרפי
בדיקה של קריאת טקסטים קטנים וכותרות המוטמעים כחלק מעיצוב הדף ולא כטקסט פשוט.
איפה זה נופל
המאגר כולו באנגלית ואין בו שום ייצוג לעברית, לא ברמת הטקסט באתרים ולא בשאלות, מה שאומר שאי אפשר לבדוק עליו ממשקי ימין לשמאל. בנוסף, מדובר במאגר בדיקה בלבד של 1,500 דוגמאות, כך שהוא אינו מתאים כלל לאימון מודלים אלא רק להערכת ביצועים. החוקרים עצמם מדווחים שמודלים מתקשים בו מאוד כשרזולוציית התמונה נמוכה או כשיש צפיפות טקסט גבוהה, ודפי אינטרנט אמיתיים משתנים ללא הרף כך שחלק מהמבנים עלולים להתיישן.
שאלות
נפוצות
האם המאגר כולל דפי אינטרנט בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל 139 האתרים שנדגמו מציגים תוכן באנגלית. הוא לא יסייע לבדיקת התמודדות עם שפות שנכתבות מימין לשמאל או אתרים ישראליים.
האם אפשר להשתמש במאגר לאימון מודל?
טכנית הרישיון לא אוסר זאת, אבל בפועל יש בו רק 1,500 דוגמאות שמחולקות לקובצי בדיקה בלבד. הכמות הזו קטנה מדי לאימון רציני ומיועדת להערכת ביצועים והשוואה בין מודלים שונים.
האם מותר להשתמש בנתונים בפרויקט מסחרי?
כן, הרישיון הוא אפאצ'י 2.0 שמתיר שימוש מסחרי מלא. הדרישה העיקרית היא לשמור על ייחוס ליוצרים המקוריים ולצרף את נוסח הרישיון.
מה מייחד את המאגר הזה לעומת סטים רגילים של שאלות על תמונות?
הוא מתמקד באופן ספציפי בממשקי אינטרנט אמיתיים ולא בתמונות כלליות. המשימות בו כוללות מציאת אלמנטים לחיצים, קריאת כותרות של אתרים וחיזוי פעולות של משתמש בדפדפן.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס הרגילה בפייתון, ללא צורך בבקשת גישה מיוחדת או אישור מוקדם. המאגר כולל תשעה קבצים, מתוכם שבעה קובצי Parquet שמייצגים את המשימות השונות ומכילים רק סטים של בדיקה. כל קובץ בנוי בתבנית אחידה של משימת שאלות ותשובות ויזואלית, עם שדות של תמונה, הנחיה ותשובה נכונה. מומלץ לוודא שהסביבה שלכם מוכנה לקבל תמונות ברזולוציה גבוהה, כי רמת הפירוט של דפי אינטרנט דורשת קלט חד כדי שהטקסטים הקטנים יישארו קריאים בזמן הריצה.
from datasets import load_dataset
ds = load_dataset("visualwebbench/VisualWebBench")הרישיון
המאגר שוחרר תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש חופשי, כולל שימוש מסחרי, שינוי של הנתונים והפצה שלהם, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי. אין כאן חובה לשתף נגזרות באותו רישיון, ומודלים שנבדקים או מוערכים באמצעותו אינם מוגבלים בשימוש המסחרי שלהם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים