omniact

מה זה

המאגר מיועד לפיתוח והערכה של סוכנים מרובי-אופנויות ומכיל חלוקה מוגדרת מראש לשלושה חלקים: 6,788 דוגמאות לאימון, 2,020 למבחן ו־991 לאימות. הדוגמאות מציגות משימות בסביבות שולחן עבודה ואינטרנט, למשל אפליקציות מקומיות כמו iBooks.

כל רשומה מקשרת בין שלושה קבצים עיקריים. הקובץ הראשון כולל את תיאור המשימה בשפה טבעית לצד קוד הפעולה בפועל שנכתב עבור PyAutoGUI, כמו הזזת עכבר לנקודות ציון ספציפיות במסך. הקובץ השני הוא צילום מסך בפורמט תמונה שעליו הפעולה מתבצעת. הקובץ השלישי הוא קובץ נתוני גבולות שמפרט את מיקומי האלמנטים שניתן לקיים איתם אינטראקציה במסך, והוא נועד בעיקר להערכת ביצועים ולא להסקה בזמן אמת.

מתאים ל

• אימון סוכני הפעלה

  לימוד מודלים חזותיים לייצר קוד PyAutoGUI ישירות מתוך צילום מסך והוראה מילולית.

• הערכת סוכני ממשק

  בדיקת הדיוק של מודלים בהבנת אלמנטים גרפיים בעזרת קובצי התיחום המצורפים.

• אוטומציה של שולחן עבודה

  פיתוח רכיבים שממירים הנחיות טקסטואליות לפעולות עכבר ומקלדת באפליקציות מחשב.

איפה זה נופל

הנתונים מתמקדים באנגלית בלבד וכוללים ממשקים מערביים סטנדרטיים, כך שאין כאן תמיכה בעברית או בממשקים מימין לשמאל. קוד הפעולה מבוסס על קואורדינטות קשיחות של PyAutoGUI, מה שאומר שכל שינוי ברזולוציה, בעיצוב החלון או בהגדרות התצוגה עלול לשבור את ההתאמה בין התמונה לפקודה. בנוסף, קובצי הגבולות מיועדים למדידה בלבד ולא קיימים עבורכם בסביבת אמת מול מערכת הפעלה חיה.

איך טוענים

אין צורך בבקשת גישה מיוחדת להורדה. החומרים מגיעים כקבצי ארכיון דחוסים וקובץ תיאום בשם combined.json, לצד סקריפט הערכה ייעודי בשם eval.py. תצטרכו לפרוק את קבצי ה־zip כדי לגשת לצילומי המסך, לקבצי הטקסט עם הפקודות ולקבצי המטא-דאטה שמגדירים את האלמנטים במסך. בזמן העבודה על קבוצת המבחן, חשוב לוודא שאינכם מזינים למודל את קובצי התיחום.

from datasets import load_dataset

ds = load_dataset("Writer/omniact")

הרישיון

המאגר שוחרר תחת רישיון MIT. הרישיון מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית של היוצרים. אין מגבלה על רישוי מודלים שאומנו על בסיס הנתונים האלה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗