GroundCUA

מה זה

המאגר כולל צילומי מסך אמיתיים של ממשקי משתמש מתוך 87 פלטפורמות שונות, כולל כלי פרודוקטיביות, דפדפנים, סביבות פיתוח וכלי מערכת. המערכות שנלכדו מכסות סביבות של Windows, macOS, Linux ואפליקציות חוצות פלטפורמות, כמו 7-Zip.

המבנה מאורגן בתיקיות לפי שמות הפלטפורמות. עבור כל צילום מסך בפורמט PNG, קיים קובץ JSON תואם שחולק איתו את אותו מזהה גיבוב SHA-256. כל קובץ כזה מכיל רשימת רשומות על האלמנטים הגרפיים במסך, כולל נתיב לתמונה, קואורדינטות של תיבה תוחמת בפיקסלים, הטקסט שמופיע באלמנט, קטגוריה סמנטית כללית ומזהה ייחודי.

מתאים ל

• אימון סוכני מחשב

  לימוד מודלים לזהות כפתורים, שדות קלט ותפריטים במטרה להפעיל יישומי שולחן עבודה באופן עצמאי.

• זיהוי אלמנטים בממשק

  פיתוח מודלים של ראייה ממוחשבת שמאתרים תיבות תוחמות וטקסט על גבי חלונות מערכת שונים.

• מבחני ביצועים ל־OCR

  בדיקת יכולת חילוץ טקסט מתמונות מסך צפופות ומורכבות בפלטפורמות מגוונות.

איפה זה נופל

הנתונים כולם באנגלית בלבד. מי שבונה סוכן לממשקים בעברית יגלה שהמודל לא ראה כאן יישור מימין לשמאל או תוכן עברי. בנוסף, חלוקת הקטגוריות מתוארת כגסה, והיא לא קיימת עבור כל הרכיבים במסך. לא מדובר באונטולוגיה מלאה ומסודרת, אלא בתיוג בסיסי שמשאיר חלק מהאלמנטים ללא סיווג ברור.

איך טוענים

המאגר כולל קרוב למאה אלף קבצים, כך שפריקת הקבצים והסריקה שלהם דורשת התחשבות בנפח האחסון ובמספר ה־inodes בדיסק. הגישה פתוחה ואין צורך באישור מיוחד. כדי לחבר בין הנתונים, סורקים את תיקיית data ואת תיקיית images לפי שם התוכנה ומזהה הגיבוב של הקובץ, וטוענים את קואורדינטות ה־bbox והטקסט מתוך קובצי ה־JSON.

from datasets import load_dataset

ds = load_dataset("ServiceNow/GroundCUA")

הרישיון

הרישיון הוא MIT. מותר להשתמש במידע למטרות מחקר וגם למטרות מסחריות, לשנות אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא דורש שיתוף תחת אותו רישיון עבור מודלים שמאומנים עליו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗