WebClick
קוד פתוחHcompanyapache-2.02025-04-30
צילומי מסך של אתרים עם הוראות טקסטואליות וקואורדינטות מדויקות ללחיצה. המטרה היא לבחון מודלים של ראייה ושפה על הבנת ממשקי רשת אמיתיים ומורכבים.
- 772הורדות בחודש
- 84לייקים
מה זה
המאגר מכיל 1,639 דוגמאות שנאספו מיותר ממאה אתרים פעילים, כולם בגודל שולחן עבודה סטנדרטי. כל רשומה מורכבת מצילום מסך, הוראה בשפה טבעית באנגלית, ותיחום מלבני של אלמנט ה־HTML הרלוונטי ללחיצה, שנמדד ביחס לממדי התמונה. מומחי ממשק משתמש כתבו ובדקו את כל ההוראות ידנית, תוך ניסוח מחדש כדי למנוע ערפול כוונות, וטשטשו מידע מזהה או אישי שנלכד במסכים.
הנתונים מחולקים לשלוש קבוצות עיקריות. הראשונה, agentbrowse, מהווה 36 אחוזים וכוללת עמודים שסוכן ממוחשב נתקל בהם במהלך משימות אחזור ממאגר WebVoyager. הקבוצה השנייה, humanbrowse, תופסת 31.8 אחוזים ומבוססת על גלישה אנושית במשימות יומיומיות כמו קניות וארגון נסיעות. החלק השלישי, calendars, מהווה 32.2 אחוזים ומתמקד ביומנים ובחירת תאריכים, אזור שידוע כמורכב לזיהוי ויזואלי.
מתאים ל
- בנצ'מרק לסוכני רשת
בדיקת הדיוק של מודלי ראייה בהמרת פקודות משתמש ללחיצה על כפתורים ושדות.
- הערכת תפעול יומנים
מדידת היכולת של מודל לפענח תאריכים זמינים בממשקי לוח שנה מורכבים.
- בדיקת הבנה הקשרית של ממשק
הבחנה בין אלמנטים דומים לפי מיקום במרחב, צבע, או כוונה שמופיעה בהוראה.
איפה זה נופל
זהו סט מבחן קטן יחסית שנועד להערכה ולא לאימון מלא. כל התוכן וההוראות הם באנגלית בלבד, וכל המסכים נלקחו מתצוגת דסקטופ, כך שאין שום כיסוי למובייל, לממשקים בשפות אחרות או לטקסט מימין לשמאל. אם אתם בונים מוצר לשוק הישראלי, הדאטהסט לא בודק התמודדות עם עברית, ממשקים הפוכים או פורמטים מקומיים שונים מאלה המקובלים ברשת באנגלית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון Apache 2.0 מתיר שימוש מסחרי מלא, כולל אימון והערכה של מערכות סגורות. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים של המקור.
האם יש במאגר אתרים בעברית?
לא. כל 1,639 צילומי המסך וההוראות נאספו באנגלית בלבד. הוא לא בודק התאמה לימין לשמאל או אתרים מקומיים.
איך נוצרו גבולות הלחיצה?
מומחי ממשק סימנו את התיחום בצורה ידנית לפי גבולות אלמנט ה־HTML בפועל. הדבר מבטיח שהקואורדינטות מתאימות בדיוק לאלמנט האינטראקטיבי ולא להערכה ויזואלית כללית.
למה מודלים מקבלים בו ציונים נמוכים יותר מ־Screenspot?
הוא כולל משימות שדורשות הבנת הקשר ולא רק זיהוי טקסט פשוט, כמו הבחנה בין כפתורים דומים ובחירת תאריכים ביומנים. המפרסמים הראו שכל המודלים שנבדקו השיגו בו תוצאות נמוכות יותר.
איך טוענים
טוענים את המאגר דרך Hugging Face ללא צורך באישור גישה מוקדם או מילוי טפסים. המאגר כולל 15 קבצים, והמבנה שלו זהה לפורמט של Screenspot, כך שמי שכבר מריץ עליו בדיקות יכול לחבר אותו ישירות. השדות הקריטיים בכל שורה הם image עם תמונת המסך, instruction עם הפקודה לביצוע, bbox שמחזיק את גבולות האלמנט הנלחץ, ו־bucket שמציין לאיזו קטגוריה שייכת הדוגמה.
from datasets import load_dataset
ds = load_dataset("Hcompany/WebClick")הרישיון
המאגר שוחרר תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון. מודלים שאומנו או הוערכו מול המאגר אינם כפופים לחובת שיתוף קוד פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים