UI-Elements-Detection-Dataset
קוד פתוחYashJainapache-2.02024-11-26
צילומי מסך ברזולוציה גבוהה של אתרים פופולריים עם תיוגי YOLO לאלמנטים גרפיים. הוא מיועד למי שבונה מודלים לזיהוי כפתורים, קישורים ושדות קלט באוטומציה של ממשקים.
- 2,618הורדות בחודש
- 39לייקים
מה זה
המאגר מכיל צילומי מסך ברזולוציית 1920x1080 שנלקחו מיותר מ־300 אתרים פופולריים ברחבי הרשת. התמונות מסווגות לפי קטגוריות אתרים שונות, כאשר החלק הגדול ביותר, 45 אחוזים, שייך לאתרים הנצפים ביותר בעולם. שאר התמונות מכסות אפליקציות רשת עם 15 אחוזים, מסחר אלקטרוני, רשתות חברתיות וחדשות עם 10 אחוזים לכל תחום, וכלי פיתוח ופלטפורמות יצירתיות עם חמישה אחוזים לכל קטגוריה.
התיוגים עצמם מחולקים ל־15 מחלקות של רכיבי ממשק משתמש בפורמט YOLO. רכיבים אינטראקטיביים כוללים כפתורים, קישורים, שדות קלט, תיבות סימון, כפתורי רדיו, תפריטים נפתחים, מחוונים ומתגים. לצדם מתוייגים גם רכיבים מבניים כמו תוויות, גושי טקסט, אייקונים ופריטי תפריט, לצד רכיבי טפסים נוספים. מבחינת התפלגות הרכיבים, קישורים מהווים כ־35 אחוזים, כפתורים כ־20 אחוזים, שדות קלט כ־15 אחוזים, ואייקונים כ־10 אחוזים מכלל התיוגים במאגר.
מתאים ל
- אוטומציה של בדיקות תוכנה
זיהוי ויזואלי של כפתורים ושדות באתרים לצורך הרצת תרחישי בדיקה ללא תלות ב־DOM.
- ניתוח נגישות ממשקים
סריקת צילומי מסך כדי לאתר תוויות חסרות, ניגודיות בעייתית או רכיבים אינטראקטיביים קטנים מדי.
- סוכני AI לגלישה עצמאית
אימון מודלים מבוססי ראייה ממוחשבת לקבלת החלטות על מה ללחוץ ואיפה להקליד בדף.
איפה זה נופל
ההטיה המרכזית בדאטהסט היא השפה, שכן כל הנתונים מוגדרים באנגלית בלבד. אם אתם בונים כלי לממשקים בעברית עם כיווניות מימין לשמאל, החלוקה המרחבית והמיקומים של אלמנטים ייראו אחרת לגמרי. בנוסף יש הטיה מובהקת לעבר קישורים וכפתורים שתופסים מעל מחצית מהתיוגים, בעוד רכיבים כמו מתגים, סליידרים ותיבות בחירה נדירים בהרבה. שאר האלמנטים מקובצים יחד ל־12 אחוזים בודדים, מה שעלול להקשות על המודל לזהות רכיבי טפסים מורכבים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון apache-2.0 מאפשר שימוש מסחרי מלא ללא תשלום תמלוגים. אתם יכולים לאמן מודלים על הנתונים ולמכור את המוצר הסופי. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים ועותק הרישיון של המאגר המקורי.
האם הדאטהסט מתאים לאתרים וממשקים בעברית?
הדאטהסט נאסף באנגלית ומבוסס על אתרים בינלאומיים בעימוד משמאל לימין. חלק מהרכיבים כמו אייקונים וכפתורים בסיסיים יעבדו באופן דומה, אך הטקסט והמבנה המרחבי שונים לגמרי. עבור תמיכה מלאה בממשקי ימין לשמאל תצטרכו להוסיף דוגמאות מקומיות.
איך נאספו התמונות והתיוגים?
צילומי המסך נלקחו ביותר מ־300 אתרים מובילים בעולם ברזולוציה קבועה של 1920x1080. התיוגים הותאמו ל־15 קטגוריות של רכיבי ממשק ונשמרו בפורמט YOLO. המאגר כולל גם נתוני נגישות שנאספו לצד האלמנטים המבניים והאינטראקטיביים.
באיזה פורמט מגיעים הנתונים והאם קל להתחיל לאמן?
הנתונים מסודרים בפורמט YOLO סטנדרטי עם קובץ הגדרות dataset.yaml מוכן לעבודה. התמונות שמורות בפורמט PNG עם שמות קבצים שמזהים את האתר והתחום שממנו הן הגיעו. אפשר לטעון את התיקיות ישירות לספריות אימון מוכרות בלי לבצע המרות מורכבות.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את הקבצים, והם זמינים ישירות מ־Hugging Face. הנתונים מאורגנים במבנה שמתאים ישירות לאימון מודלים מסוג YOLO, כולל קובץ הגדרות dataset.yaml ותיקיות ייעודיות לתמונות ולתיוגים. שמות הקבצים כוללים מידע על הקטגוריה וכתובת האתר שממנו נלקח צילום המסך. המאגר מכיל 3,787 קבצים בהיקף של כמה אלפי רשומות, כך שלא מדובר בהורדה כבדה במיוחד, אך צריך לשים לב לרזולוציית התמונות המקורית בזמן הטעינה למודל.
from datasets import load_dataset
ds = load_dataset("YashJain/UI-Elements-Detection-Dataset")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי הקוד והפצה מחדש. הדרישה העיקרית היא מתן קרדיט וייחוס ליוצר המקורי וצירוף עותק של הרישיון. הרישיון אינו מחייב אתכם לפתוח את הקוד שלכם או לשתף מודל שאומן על הדאטהסט תחת אותו הרישיון, מה שמקל על שילובו במוצרים סגורים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים