ui-vision
קוד פתוחServiceNowmit2025-05-01
המאגר מרכז צילומי מסך ותיעוד פעולות אנושיות מ־83 תוכנות שולחניות. הוא מיועד למי שמפתח סוכני מחשב וצריך לבחון זיהוי אלמנטים וביצוע פעולות בסביבת דסקטופ מקומית.
- 4,788הורדות בחודש
- 22לייקים
מה זה
המאגר מציג תיעוד מפורט של הדגמות אנושיות בסביבות שולחניות אמיתיות מתוך 83 תוכנות שונות. הרשומות כוללות צילומי מסך בפורמט תמונה לצד קובצי תיוג במבנה JSON. המידע מחולק לכמה משימות עיקריות, ובהן איתור אלמנטים בדידים ואיתור פריסות ממשק מלאות. לפי הכרטיס, הנתונים מכסים פעולות כמו לחיצות, גרירות והקלדות, יחד עם תיחום חזותי ותוויות ברורות לכל רכיב.
בפועל המבנה מחולק לתיקיות ייעודיות לכל משימה. תחת איתור אלמנטים ישנם קבצים נפרדים לפי אופי המשימה: מאפיינים בסיסיים, היבטים תפקודיים של הכפתור או התפריט, ויחסים מרחביים בין עצמים על המסך. לצד אלה ישנה חלוקה נפרדת לאיתור שלד הממשק עצמו. מטרת הסידור הזה היא לאפשר מדידה מדורגת של תפיסה חזותית מול הבנת הקשר תפעולי.
מתאים ל
- הערכת סוכני ממשק
בדיקת היכולת של סוכן אוטונומי לזהות נכון כפתורים, תפריטים ושדות קלט במסכי תוכנה שולחנית.
- חיזוי פעולות משתמש
אימון ובחינה של מודלים לחיזוי הצעד הבא, כולל לחיצה, הקלדה ותנועות גרירה של העכבר.
- ניתוח מרחבי של פריסות
מדידת הדיוק של מודלי ראייה בהבנת היחס המרחבי והמבני בין רכיבים שונים במסכים מורכבים.
איפה זה נופל
הכרטיס מדגיש שמודלים מתקדמים מתקשים מאוד בהבנת תוכנות מקצועיות, בהסקה מרחבית ובפעולות מורכבות כמו גרירה ושחרור. הנתונים מתמקדים בסביבות שולחניות, והכרטיס אינו מפרט שפות ממשק שאינן אנגלית. בנוסף, קיימת מדיניות להסרת נתונים לפי בקשה, דבר שעשוי לשנות את הרכב המאגר בעתיד.
שאלות
נפוצות
האם המאגר מותר לשימוש מסחרי?
כן. הרישיון המדווח הוא MIT, שמתיר שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על נוסח הרישיון המקורי.
האם יש תמיכה בעברית או בממשקים מימין לשמאל?
הכרטיס אינו מזכיר תמיכה בעברית או שפות RTL. הנתונים נאספו מתוכנות דסקטופ סטנדרטיות, ורובן המכריע מבוסס על ממשקים באנגלית בלבד.
מה מייחד את המאגר לעומת מאגרי ממשק אחרים?
מרבית המחקר הקיים מתרכז בדפי אינטרנט ובסביבות אונליין. כאן ההתמקדות היא בתוכנות שולחניות מקומיות, עם תיוג הדגמות אנושיות ב־83 תוכנות שונות.
האם צריך לבקש הרשאה מיוחדת כדי להוריד את הנתונים?
אין צורך בהרשאה או ברישום מוקדם. המאגר פתוח לציבור וניתן לשכפל אותו במלואו ישירות דרך פקודת גיט.
איך טוענים
טוענים את הקבצים ישירות באמצעות שכפול פשוט של המאגר עם גיט, ללא צורך באישור גישה מראש. המאגר מכיל 1,470 קבצים, הכוללים תמונות PNG ותיוגי JSON. יש לקשר בקוד את הנתיבים היחסיים בין קובצי התיוג לתיקיות התמונות המתאימות, ולהתעדכן בסקריפטי ההרצה בעמוד הפרויקט.
from datasets import load_dataset
ds = load_dataset("ServiceNow/ui-vision")הרישיון
המאגר מופץ תחת רישיון MIT. המשמעות פשוטה, מותר להשתמש בו לצרכים מחקריים ומסחריים, להתאים אותו ולאמן עליו מודלים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש