webui-all
קוד פתוחbiglabother2023-04-15
מאגר שמביא צילומי מסך ומידע על ממשקי רשת עבור פרויקט WebUI. הוא מתאים למי שרוצה לאמן מודלים של ראייה ממוחשבת להבנת מבנה של אתרים ואלמנטים גרפיים.
- 1,917הורדות בחודש
- 22לייקים
מה זה
הנתונים מלווים מאמר אקדמי של פרויקט WebUI ומציגים דפי אינטרנט שנאספו באמצעות זחלן רשת. הרשומות כוללות צילומי מסך של ממשקים שונים, אך המבנה שלהן אינו אחיד לכל אורך הדרך. בגלל שהזחלן עבד עם מגבלת זמן בעת השליפה, חלק מהדוגמאות כוללות פחות קבצים או צילומי מסך ממכשירים שונים ביחס לאחרות.
הגרסה הזו עברה סינון תוכן על בסיס רשימת מילים בוטות, ולכן היא כוללת פחות דוגמאות ממה שהופיע בניסויים המקוריים במאמר. המאגר מכיל 131 קבצים בסך הכל, והוא מחולק לחלקי ארכיב דחוסים עם סיומות ממוספרות, ללא פירוט נוסף בכרטיס על מבנה הטבלאות הפנימי.
מתאים ל
- זיהוי רכיבי ממשק
אימון מודלים שמזהים כפתורים, תפריטים ואלמנטים ויזואליים מתוך צילומי מסך של אתרים.
- מחקר הבנת אתרים
הערכת ביצועים של מודלי ראייה ממוחשבת מול הממצאים שהוצגו במאמר המקורי של WebUI.
- סיווג תצוגות מכשירים
בדיקת התאמה ויזואלית של ממשקי רשת על פני צילומי מסך ממכשירים שונים שנשמרו.
איפה זה נופל
חוסר העקביות בדאטה הוא נקודת התורפה המרכזית. בגלל הגבלת הזמן של הזחלן, חלק מהדפים נשמרו באופן חלקי ולא לכולם יש צילומים מכל המכשירים המתוכננים. בנוסף, המפרסמים סיננו מילים מסוימות רק בגרסה הזו, מה שעלול לייצר הטיה בדפים שהוסרו. לא מצוין בכרטיס באילו שפות נאספו הדפים, האם יש ייצוג כלשהו לעברית או לאתרים מקומיים, ואין פירוט על תאריכי הדגימה המדויקים של האתרים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מוגדר כ־other ולא נמסר עליו מידע מלא בעמוד עצמו. המפרסמים דורשים לבדוק את קובץ זכויות היוצרים שהם צירפו במאגר הגיטהאב לפני השימוש. עד שלא מוודאים מה כתוב שם, אסור להניח שמותר להשתמש בו לצרכים מסחריים.
האם הדאטה כולל אתרים בעברית?
בתיעוד של הדאטהסט לא מצוין דבר על שפות האתרים שנאספו. אי אפשר להסתמך עליו לממשקים בעברית בלי להוריד את הקבצים ולבדוק אותם בפועל.
למה יש הבדל בין הנתונים כאן לבין מה שפורסם במאמר?
הגרסה שעלתה לכאן עברה סינון לפי רשימת מילים בוטות, ולכן חלק מהדוגמאות הוסרו. המפרסמים ציינו שהדאטה הגולמי והמלא, כפי שנחקר במאמר, אוחסן בקישור חיצוני לדרייב שעשוי להימחק בעתיד.
איך בנויים הקבצים במאגר?
המאגר כולל 131 קבצים שמחולקים לארכיבים דחוסים מפוצלים. כדי לעבוד איתם צריך להוריד את כולם באמצעות snapshot_download, לאחד את החלקים ולפתוח את קובצי ה־zip.
איך טוענים
אין כאן טעינה ישירה של שורה בודדת דרך פקודת datasets רגילה. כדי למשוך את המידע צריך להתקין את huggingface-hub ולהריץ snapshot_download על המאגר כדי להוריד את כל 131 הקבצים לסביבה המקומית שלכם.
הקבצים מחולקים לארכיבים מפוצלים של zip, כמו dh2.zip.001 עד dh2.zip.007, מה שאומר שתצטרכו לאחד ולפתוח אותם ידנית לפני שתגיעו לתמונות או לנתונים. אין צורך באישור גישה ידני או בטופס מיוחד, אבל חייבים לבדוק שיש לכם מספיק שטח אחסון במחשב כדי להכיל את כל החלקים ולחלץ אותם.
from datasets import load_dataset
ds = load_dataset("biglab/webui-all")הרישיון
הרישיון מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי. המפרסמים מפנים במפורש לקובץ זכויות יוצרים חיצוני בגיטהאב שלהם שחובה לבדוק לפני כל שימוש או הורדה. במצב כזה אי אפשר להניח שיש אישור לשימוש מסחרי, וזה דורש בדיקה משפטית מקיפה לפני שמאמנים על הנתונים מודל שמיועד להפצה או למכירה.