ShowUI-web
קוד פתוחshowlabרישיון לא דווח2025-01-04
המאגר כולל עשרים ושניים אלף צילומי מסך של אתרי אינטרנט לצורכי איתור רכיבי ממשק. הוא מיועד למי שבונה סוכנים חזותיים וצריך שהמודל ילמד לזהות כפתורים ותיבות סימון במקום לקרוא טקסט סטטי.
- 496הורדות בחודש
- 23לייקים
מה זה
המאגר מכיל עשרים ושניים אלף צילומי מסך של דפי אינטרנט, שמיועדים למשימות ויז'ואל גראונדינג בממשקי משתמש. הצוות פיתח כלי ניתוח ייעודי וסינן באמצעותו את הדפים, כך שנשמרו בעיקר אלמנטים אינטראקטיביים שקשורים לפעולות חזותיות, כמו כפתורים או תיבות בחירה, ונוקה מהם הטקסט הסטטי.
הנתונים מאורגנים בקובץ נתונים ראשי בפורמט פארקט, קובץ מטא-דאטה במבנה ג'ייסון, וארכיון תמונות דחוס שמחזיק את צילומי המסך עצמם. החלוקה הזו מפרידה בין המידע המבני על מיקומי הרכיבים לבין קובצי התמונה, כדי לאפשר עבודה ישירה עם נתוני האימון ללא תלות מיידית בטעינת כל התמונות בבת אחת.
מתאים ל
- אימון סוכני רשת
לימוד מודלים לזהות כפתורים ושדות אינטראקטיביים בצילומי מסך כדי לאפשר לחיצות מדויקות ברשת.
- הערכת זיהוי רכיבים
בדיקת הדיוק של מודלי ראייה ושפה במיקום תיבות בחירה וכפתורים על גבי דפי אינטרנט.
- פיתוח סוכני פעולה
שילוב נתוני המיקום החזותיים בבניית סוכנים אוטונומיים שפועלים בדפדפן על בסיס ראייה בלבד.
איפה זה נופל
היוצרים הוציאו במכוון טקסטים סטטיים והשאירו רק רכיבים ויזואליים דוגמת כפתורים ותיבות בחירה, מה שאומר שהמודל שלכם לא ילמד להבין פסקאות תוכן או מבנה עמוד שלם. לא פורט באילו שפות האתרים שנאספו, אך סביר להניח שמדובר בעיקר באנגלית ושאין כאן ייצוג לעברית או לממשקים מימין לשמאל. אם אתם בונים סוכן שמנווט באתרים מקומיים, תצטרכו לאסוף מידע משלכם כדי לבדוק שהאלמנטים מזוהים כהלכה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ לעשות זאת כרגע, מפני שהיוצרים לא הגדירו רישיון שימוש. מבחינה משפטית, היעדר רישיון מותיר את כל הזכויות אצל החוקרים ואינו מעניק היתר לשימוש מסחרי. כדי למנוע חשיפה לתביעות יש לפנות ישירות לצוות שפרסם אותו.
האם הדאטהסט כולל אתרי אינטרנט בעברית?
הכרטיס אינו מפרט את שפות הדפים שנאספו, ולכן אי אפשר להסתמך על נוכחות של ממשקים בעברית. רוב הסיכויים שמדובר באתרים באנגלית או בשפות בינלאומיות נפוצות. אם האפליקציה שלכם דורשת התמודדות עם ממשקים מימין לשמאל, תצטרכו להשלים נתונים בעצמכם.
כיצד נאספו הנתונים ומדוע סונן הטקסט?
החוקרים פיתחו מנתח ייעודי ודגמו עשרים ושניים אלף צילומי מסך מרחבי הרשת. מטרת המחקר התמקדה בזיהוי אלמנטים חזותיים שניתן לבצע בהם פעולה, ולכן הם מחקו טקסט סטטי והשאירו רק תוויות לפקדים כמו כפתורים ותיבות סימון.
איך מחלצים את התמונות מתוך המאגר?
התמונות אינן מגיעות כקבצים בודדים פתוחים, אלא ארוזות בקובץ דחוס יחיד בשם images.tar.gz. יש להוריד את הקובץ ישירות ולפתוח אותו באמצעות הפקודה tar -xzf image.tar.gz כפי שמצוין בהנחיות, או עם השם המלא של הקובץ.
איך טוענים
טוענים את קובץ האימון train-00000-of-00001.parquet או עובדים עם קובץ המטא-דאטה hf_train.json. אין צורך לבקש אישור גישה מיוחד מיוצרי המאגר, אבל כדי לגשת לתמונות עצמן חובה להוריד את הקובץ הדחוס images.tar.gz ולפתוח אותו באמצעות הפקודה tar -xzf image.tar.gz. שימו לב שהשם שמופיע בהוראות הפתיחה שונה במעט משם הקובץ בפועל, אז כדאי לוודא שאתם פותחים את images.tar.gz שנמצא במאגר ולא מחפשים קובץ בשם יחיד.
from datasets import load_dataset
ds = load_dataset("showlab/ShowUI-web")הרישיון
היוצרים לא ציינו רישיון שימוש בעמוד המאגר. מבחינה חוקית, היעדר רישיון אומר שכל הזכויות שמורות להם, ואין היתר ברור להשתמש במידע לצרכים מסחריים או לאמן מודלים שיופצו הלאה. אם אתם חושבים להכניס את זה למוצר, אתם לוקחים סיכון משפטי ומוטב לפנות ישירות לצוות של שואו-לאב.