computer-use
קוד פתוחmarkov-aiapache-2.02026-02-12
המאגר מרכז מסלולי פעולה מוצלחים של סוכן מחשב שפעל בסביבת OSWorld. הוא מיועד למי שמפתח סוכני בינה מלאכותית ומחפש דוגמאות מלאות לשליטה בשולחן העבודה, כולל צילומי מסך ופקודות קוד.
- 1,027הורדות בחודש
- 73לייקים
מה זה
המאגר מכיל 160 רשומות, כשכל רשומה מייצגת מסלול ריצה שלם של משימה עד להשלמתה. הנתונים נאספו באמצעות מודל Gemini 3 Flash Preview שרץ בסביבות וירטואליות של OSWorld עם מסגרת העבודה ComputerRL. הסינון שבוצע בחר אך ורק מסלולים שקיבלו ציון 1.0, כלומר משימות שהסתיימו בהצלחה מלאה, מה שמסתכם ב־1,378 צעדים שונים.
המבנה של כל רשומה כולל רשימות מקבילות שמפרטות את השלבים לאורך הדרך. תמצאו שם פקודות pyautogui שנשלחו, צילומי מסך בפורמט PNG, תגובות מודל מלאות יחד עם שלבי המחשבה שלו, עצי נגישות מיושרים, פלטי מערכת ושגיאות. המשימות מחולקות לעשרה תחומים שונים של תוכנות שולחניות, ביניהן דפדפן כרום, עריכת קוד ב־VS Code, כלי משרד מבוססי LibreOffice, עריכת תמונה ב־GIMP, וגם עבודה משולבת בין כמה יישומים במקביל.
מתאים ל
- אימון סוכני תוכנה
כיוונון עדין של מודלים לפעולות עכבר ומקלדת לפי צילומי מסך ועצי נגישות.
- הערכת סוכני ממשק
בדיקת יכולת הביצוע של סוכנים מול מסלולי פעולה קיימים בסביבת OSWorld.
- חקר תהליכי חשיבה
ניתוח שלבי הנימוק של המודל בתגיות המחשבה מול הפקודות שבוצעו בפועל.
איפה זה נופל
גודל המדגם הוא המגבלה הבולטת ביותר, מדובר ב־160 משימות בלבד, כך שלא תוכלו להסתמך עליו לאימון מודל רחב מאפס אלא בעיקר לכיוונון עדין או להערכה. בנוסף, המאגר מסונן כולו להצלחות בלבד ואין בו דוגמאות של תיקון שגיאות תוך כדי תנועה או התאוששות מכשלונות. כל המידע הופק ממודל יחיד, כך שההטיות של מודל המקור נוכחות בכל תגובה. אין בכרטיס שום פירוט על תמיכה בשפות שאינן אנגלית, ותוכנות שולחן העבודה שנבדקו הן יישומי קוד פתוח וסביבות לינוקס בעיקר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי מלא. אתם נדרשים רק לכלול את תנאי הרישיון ואת הודעת הייחוס של היוצרים המקוריים.
האם הדאטהסט כולל תמיכה בעברית?
אין אזכור לעברית בכרטיס הדאטהסט. המשימות, פקודות המערכת וממשקי התוכנות נאספו באנגלית בסביבות מחשב סטנדרטיות.
איך הנתונים האלה נוצרו?
סוכן אוטונומי שהתבסס על Gemini 3 Flash Preview ביצע משימות במכונות וירטואליות של OSWorld. המפרסמים סיננו ושמרו רק את הריצות שבהן הסוכן הצליח לסיים את המשימה בהצלחה מלאה עם ציון 1.0.
איך טוענים
טוענים את המאגר ישירות בספריית datasets בעזרת הפקודה load_dataset("markov-ai/computer-use"). המאגר פתוח לציבור ואין צורך לבקש אישורי גישה מיוחדים. החלק המרכזי מפוצל ל־16 קובצי parquet, אך המאגר כולל בסך הכל 331 קבצים כי הוא מכיל גם סרטוני מסך שלמים בפורמט MP4 עבור כל משימה. כשאתם ניגשים לנתונים, השדות המרכזיים לעבודה הם actions, screenshots, accessibility_trees ו־instruction שמגדיר את המשימה.
from datasets import load_dataset
ds = load_dataset("markov-ai/computer-use")הרישיון
המאגר מופץ תחת רישיון apache-2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי של המידע ושילוב שלו במוצרים סגורים, בלי חובה לשתף את הקוד הנגזר תחת אותו רישיון. תנאי השימוש דורשים רק שמירה על הודעת זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים