GUI-360
קוד פתוחvyokkymit2025-10-10
מאגר נתונים מקיף לאימון סוכני מחשב על יישומי אופיס בסביבת חלונות. הוא כולל צילומי מסך מלאים, קואורדינטות נגישות, פעולות ממשק וקריאות תוכנה, לצד מסלולי פעולה מוצלחים וכושלים.
- 10,460הורדות בחודש
- 20לייקים
מה זה
הרשומות מייצגות מסלולי אינטראקציה מרובי שלבים בתוך וורד, אקסל ופאוורפוינט. 41.0% מהנתונים מגיעים מוורד, 31.6% מאקסל ו־27.4% מפאוורפוינט. כל צעד במסלול כולל צילום מסך ברזולוציה מלאה, מחשבות הסוכן, קריאות ממשק או קוד, ורשימת אלמנטים אינטראקטיביים עם קופסאות תוחמות שמגיעות מממשקי נגישות של מערכת ההפעלה. חלוקת הפעולות עומדת על 81% לחיצות וממשק גרפי, ו־19% קריאות תוכנה.
איסוף המידע התבצע בשלושה שלבים באמצעות מסגרת העבודה UFO של מיקרוסופט. תחילה יצרו תבניות מסמכים והמירו שאילתות מעשיות למשימות ברות ביצוע, לאחר מכן סוכן אוטומטי ביצע את הפעולות ותיעד את המסלול המלא, ובסוף סיננו נתונים רגישים, בדקו תקינות וחילקו את המידע. המאגר מופרד למסלולים מוצלחים לאימון, מסלולים למבחן, מסלולי כשלון לניתוח שגיאות, ותיקיית נתונים מעובדים שמוכנה לעבודה ישירה עם מודלים מסוג ראייה-שפה.
מתאים ל
- אימון סוכנים ליישומי אופיס
לימוד מודלים לבצע משימות מורכבות בוורד, אקסל ופאוורפוינט על בסיס צילומי מסך ופקודות טקסט.
- זיהוי אלמנטים בממשק
אימון מערכות ראייה ממוחשבת לקשור מחשבה לפעולה ולזהות קואורדינטות של פקדים וכפתורים על המסך.
- ניתוח ופענוח מסכים
חילוץ קופסאות תוחמות ושמות של כל הרכיבים האינטראקטיביים בתצוגת המשתמש.
- למידה מכישלונות סוכנים
שימוש בתיקיית המסלולים הכושלים כדי ללמד מודלים להתאושש משגיאות ביצוע ולבצע הערכה עצמית.
איפה זה נופל
הנתונים מוגבלים אך ורק לשלושה יישומי חלונות: וורד, אקסל ופאוורפוינט. אין כאן דפדפנים, כלי פיתוח, תוכנות עיצוב או מערכות הפעלה אחרות כמו לינוקס או מק. כל המסלולים נוצרו על ידי סוכן אוטומטי ולא על ידי בני אדם, מה שעלול להחדיר דפוסי התנהגות מלאכותיים. בנוסף, כל הממשקים והתבניות המוצגים הם באנגלית, כך שאין שום ייצוג לעברית, יישור מימין לשמאל או מוזרויות תרגום מקומיות של חבילת אופיס.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצרים מסחריים?
כן. הדאטהסט משוחרר ברישיון MIT, שמתיר שימוש מסחרי מלא, כולל אימון מודלים קנייניים והפצתם, כל עוד מצרפים את עותק הרישיון המקורי.
האם יש תמיכה בעברית או בממשקים בעברית?
לא. התבניות, המשימות והממשקים נאספו בסביבת חלונות באנגלית בלבד. אלמנטים מימין לשמאל או שמות פקדים בעברית לא נכללים כאן.
מאיפה הגיעו הנתונים ומי ביצע את הפעולות?
הפעולות לא בוצעו על ידי אנשים. צוות הפיתוח הגדיר תבניות ומשימות, וסוכן מבוסס תשתית UFO של מיקרוסופט ביצע אותן באופן אוטומטי ותיעד כל צעד.
מה ההבדל העיקרי בין המאגר הזה למאגרי ממשק אחרים?
הוא מתמקד ביישומי שולחן עבודה משרדיים של חלונות ולא ברשת או מובייל. הוא כולל גם נתוני נגישות מדויקים לצד התמונות, משלב קריאות קוד לצד לחיצות גרפיות, ומכיל גם מסלולים שלמים שנכשלו.
איך טוענים
המאגר כולל 79,591 קבצים והוא זמין להורדה חופשית ללא צורך בהרשאה מוקדמת. המידע הגולמי מסודר בפורמט קובצי jsonl יחד עם תמונות ברזולוציה מקורית בתיקיות train, test ו־fail. לצורך אימון מהיר על מודלים כמו Qwen-2.5-VL-7B, קיימת תיקיית processed_data שמרכזת נתונים מעובדים עם תמונות בגודל מותאם לארבע משימות מוגדרות: חיזוי פעולה מתמונה בלבד, חיזוי פעולה בתוספת נגישות, זיהוי מיקום אלמנטים, ופענוח מסך מלא. השדות החשובים לטעינה הם צילום המסך, פקודת המשתמש, מחשבות הסוכן, וקואורדינטות הפעולה.
from datasets import load_dataset
ds = load_dataset("vyokky/GUI-360")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ושימוש פנימי ללא הגבלה, ומאפשר לאמן מודלים לכל מטרה. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ונוסח הרישיון המקורי בקוד או בהפצה. אין חובה לשתף נגזרות באותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש