GUI-Odyssey
קוד פתוחOpenGVLabcc-by-4.02024-06-13
מסלולי ניווט מלאים של סוכני בינה מלאכותית בין אפליקציות שונות במובייל. הוא נותן צילומי מסך וקואורדינטות פעולה מדויקות למשימות מורכבות שלא נשארות באפליקציה בודדת.
- 13,554הורדות בחודש
- 26לייקים
מה זה
המאגר מכיל 7,735 אפיזודות ניווט שנאספו משישה מכשירי אנדרואיד וירטואליים שונים, בהם Pixel Fold, טאבלט ומכשירים בגדלים שונים. הנתונים מתפרסים על פני 201 אפליקציות, 1.4K שילובי אפליקציות ושש קטגוריות משימה כמו קניות ברשת, כלי ניהול ושיתוף חברתי. כל אפיזודה כוללת הוראה מילולית, מטא נתונים טכניים של המכשיר ורצף צעדים מפורט.
בכל צעד ברצף מתועדים צילום המסך, הפעולה שבוצעה כמו לחיצה, גלילה, הקלדה או חזרה, וקואורדינטות מנורמלות בטווח שבין 0 ל־1000. קיימות ארבע חלוקות רשמיות לאימון ומבחן: חלוקה אקראית ביחס 3 ל־1, וחלוקות ייעודיות לבדיקת הכללה לפי משימות, לפי מכשיר מתקפל Fold Phone, או לפי אפליקציות שלא נראו באימון.
מתאים ל
- אימון סוכני מובייל חוצי יישומים
לימוד מודלים לבצע משימות רב שלביות שדורשות מעבר והעברת מידע בין מספר אפליקציות שונות.
- בדיקת הכללה למסכים מתקפלים
הערכת עמידות של מודלי ראייה ופעולה במעבר ממכשירים רגילים למסכים גמישים באמצעות device_split.
- מיפוי פעולות וקואורדינטות ב־GUI
אימון יכולת זיהוי אלמנטים ותרגום פקודות טקסט לפעולות לחיצה והקלדה עם קואורדינטות מנורמלות.
איפה זה נופל
כל ההוראות והממשקים נאספו באנגלית בלבד ואין במאגר תמיכה בעברית או בממשקים מימין לשמאל. הנתונים מגיעים מאמולטורים של אנדרואיד ולא ממכשירים פיזיים בידי משתמשים אמיתיים, כך שאין התמודדות עם תקלות מגע, שינויי רשת או ממשקי iOS. בנוסף, המפרסמים עצמם מדווחים שיצאה גרסה חדשה ומשופרת של המאגר וממליצים לעבוד איתה ולא עם הגרסה הזו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, רישיון cc-by-4.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או מסחריים. התנאי היחיד הוא מתן קרדיט ברור ליוצרי המאגר מ־OpenGVLab בהתאם לתנאי הרישיון.
האם הדאטהסט כולל ממשקים בעברית?
לא. שפת הדאטהסט המוגדרת היא אנגלית בלבד, וכל המשימות והממשקים באפליקציות הוקלטו באנגלית. אם המוצר שלכם מיועד לממשקי עברית עם כיווניות מימין לשמאל, המודל יתקשה להשליך על מיקומי כפתורים.
האם כדאי להתחיל לאמן על הגרסה הזו של המאגר?
המפרסמים מציינים בעמוד עצמו שקיימת גרסה חדשה ומשופרת בשם GUIOdyssey בכתובת נפרדת וממליצים להשתמש בה. כדאי לבדוק את הגרסה העדכנית לפני שמתחילים תהליך אימון ארוך.
איך מחולקים נתוני האימון והבדיקה?
המאגר מספק ארבע חלוקות מוגדרות מראש בקובצי JSON. יש חלוקה אקראית סטנדרטית, ולצידה חלוקות ייעודיות שבודקות ביצועים מול אפליקציות שלא נראו, משימות חדשות, או תצוגה ייחודית של Pixel Fold.
איך טוענים
המאגר כולל 99,896 קבצים, והגישה אליו חופשית ללא צורך באישור מקדים. ההורדה נעשית ישירות דרך שכפול המאגר או דרך תיקיית קובצי הזיפ, שם נמצאים annotations.zip ושני קובצי צילומי מסך מפוצלים שממזגים בפקודת cat ופותחים ב־unzip. התיוגים שמורים בקובצי JSON עם קואורדינטות מנורמלות, מזהה אפיזודה ומערך צעדים, כאשר קובץ all_anno.json מרכז את המידע לצד קבצי חלוקה מוגדרים.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/GUI-Odyssey")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, עריכה, שינוי ושילוב במערכות אחרות, כל עוד נותנים קרדיט מלא למפרסמים ומקשרים לרישיון. אין חובה לשתף נגזרות באותו רישיון, ומודל שאומן על הנתונים אינו מחויב ברישיון פתוח.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס