wave-ui-25k
קוד פתוחagentseaרישיון לא דווח2024-06-28
המאגר מרכז 25k דוגמאות מתויגות של אלמנטים בממשקי משתמש, שנחתכו מתוך אוסף רחב יותר. הוא מיועד למי שבונה סוכנים או מודלים שצריכים להבין כפתורים ושדות במסכים.
- 548הורדות בחודש
- 40לייקים
מה זה
הנתונים מגיעים משלושה מקורות שונים: WebUI, RoboFlow ו־GroundUI-18K. היוצרים לקחו תת קבוצה מתוך אוסף מעובד של כ־80k דוגמאות, איחדו את הסכמות וניקו כפילויות, חפיפות ורשומות באיכות נמוכה. הם גם סיננו החוצה אלמנטים רבים של טקסט שלא התאימו למוקד העבודה.
כל רשומה שומרת על השדות המקוריים של מאגרי המקור, לצד תיוגים חדשים שהוסיפו בתהליך העיבוד. התוספות כוללות שם תיאורי, תיאור מפורט, סוג האלמנט, זיהוי טקסט ב־OCR יחד עם שפת הטקסט, וכן הגדרה של מטרת האלמנט ומה צפוי לקרות ברגע שלוחצים עליו.
מתאים ל
- חיזוי תוצאת לחיצה
אימון סוכנים להבין מה יקרה בממשק בעזרת שדה ה־expectation.
- סיווג רכיבי מסך
זיהוי והבדלה בין כפתורים, תפריטים ושדות קלט לפי שדות ה־type וה־purpose.
- הבנת ממשקים לסוכנים
חיבור תיאורי האלמנטים להסקה ויזואלית על צילומי מסך מאתרים שונים.
איפה זה נופל
היוצרים הוציאו במכוון הרבה אלמנטים טקסטואליים מחוץ לסט, כך שאם המודל שלכם נשען על קריאת פסקאות או תוכן עשיר בממשק, יהיו לכם חורים. בנוסף, שדות כמו OCR ושפה מקבלים ערך null בכל מקום שבו אין טקסט. התיעוד לא מפרט אילו שפות קיימות בפועל מתוך המקורות, מה שאומר שאי אפשר להסתמך מראש על ייצוג לעברית בלי לדגום את הקבצים בעצמכם.
אותה משפחה
wave-ui יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא דווח רישיון בעמוד המאגר. ללא רישיון ברור אין הרשאת שימוש רשמית, ולכן שילוב שלו במוצר מסחרי יוצר חשיפה משפטית.
האם המאגר מכיל ממשקים בעברית?
כרטיס המאגר לא מפרט את פיזור השפות ומציין רק ששדה השפה מקבל ערך לפי ה־OCR. המקורות מבוססים על אתרים גלובליים וצילומי רשת, ולכן סביר להניח שרוב החומר באנגלית.
מאיפה הגיעו הנתונים שנמצאים בפנים?
הדוגמאות נלקחו מתוך שלושה מאגרים קיימים: WebUI, מאגר צילומי מסך מ־RoboFlow, ו־GroundUI-18K. הצוות איחד את הפורמטים, סינן דוגמאות כפולות והוסיף שכבת תיוג חדשה.
איך הנתונים מאורגנים להורדה?
המאגר כולל עשרים וארבעה קבצים בסך הכל. המידע מחולק לעשרים ושניים קובצי parquet עבור אימון, לצד קובץ התיעוד.
איך טוענים
המאגר פתוח להורדה ישירה דרך Hugging Face ללא צורך באישור גישה. הנתונים מחולקים לעשרים ושניים קובצי parquet תחת תיקיית data, שמייצגים את פיצול ה־train. כשניגשים לעבודה, השדות המרכזיים לבדיקה לצד נתוני המקור הם type, purpose ו־expectation, יחד עם שדות ה־OCR והשפה שיכולים להכיל ערכי null כשאין טקסט באלמנט.
from datasets import load_dataset
ds = load_dataset("agentsea/wave-ui-25k")הרישיון
בעמוד המאגר לא דווח שום רישיון. מבחינה משפטית זה אומר שאין לכם הרשאה מוגדרת להשתמש בחומרים, לא למחקר ובטח שלא לאימון מודלים מסחריים. שימוש בנתונים במצב כזה הוא סיכון, וצריך לפנות ליוצרים ב־agentsea או לבדוק את הרישיונות של מקורות הבסיס לפני שנוגעים בהם.