ScreenSpot-Pro

מה זה

הנתונים מחולקים לפי תוכנות ומערכות הפעלה, וכוללים צילומי מסך לצד תיוגים של אייקונים וטקסטים בלחיצה. כל רשומה מייצגת אלמנט בממשק שצריך לאתר לפי הוראה, בתוכנות שדורשות בדרך כלל מסכים גדולים וממשקים עמוסים.

המבנה מאורגן בתיקיות לפי נושאים מקצועיים ברורים. יש פיתוח תוכנה עם סביבות כמו ויז'ואל סטודיו קוד, אנדרואיד סטודיו ופייצ'ארם, יצירה ועריכה עם פוטושופ, בלנדר ופרמייר, הנדסה ותלת מימד עם אוטוקאד וסולידוורקס, וכלים מדעיים כמו מטלאב וסטאטה. בנוסף נכללו תוכנות משרדיות מוכרות וממשקי בסיס של חלונות, מק ואובונטו.

התיוג מפריד בין איתור טקסטים לבין איתור אייקונים בכל יישום בגרסתו הספציפית. הקבצים נשמרים בפורמט ג'ייסון נפרד לכל יישום ומערכת הפעלה, כאשר צילומי המסך עצמם כבדים מאוד כדי לשמור על החדות הנדרשת לעבודה ברזולוציה גבוהה.

מתאים ל

• אימון סוכני מחשב

  פיתוח סוכנים שמסוגלים ללחוץ על כפתורים מדויקים בתוכנות עריכה והנדסה מורכבות.

• הערכת מודלי ראייה

  בדיקת היכולת של מודל מולטי מודלי לאתר אלמנטים גרפיים ברזולוציה גבוהה.

• אוטומציה של ממשקים

  זיהוי שדות וכפתורים בתוכנות מדעיות ומשרדיות ללא גישה לקוד המקור.

איפה זה נופל

הנתונים כולם באנגלית בלבד. אם המוצר שלכם צריך לעבוד מול ממשקים בעברית או במצב ימין לשמאל, המאגר לא ייתן לכם שום כיסוי. בנוסף, מדובר בצילומי מסך מגרסאות ספציפיות מאוד של תוכנות מסחריות, שחלקן ישנות כמו חלונות עשר, פוטושופ עשרים עשרים או גרסאות קודמות של כלי פיתוח. שינוי עיצובי קטן בעדכון גרסה עלול לשבור זיהוי שמסתמך עליהן.

איך טוענים

טוענים את המאגר ישירות מגיטהאב או מהעמוד, כשמבנה הקבצים כולל תיקיית אנוטציות עם קובצי ג'ייסון וקובץ תצוגה מבוסס רשת. אי אפשר לצפות בדוגמאות ישירות בממשק של האגינג פייס בגלל גודל התמונות שגורם לשגיאות טעינה, ולכן צריך להוריד את הקבצים מקומית. אין צורך בבקשת אישור גישה מיוחדת.

from datasets import load_dataset

ds = load_dataset("likaixin/ScreenSpot-Pro")

הרישיון

המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים ולהפיץ מוצרים שנגזרו ממנו, כל עוד שומרים על הודעת זכויות היוצרים של היוצרים המקוריים. אין חובת שיתוף באותו רישיון למודל שתאמנו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗