computer-use-large

מה זה

בפנים יש 48,478 סרטוני וידאו שמסתכמים בכ־12,300 שעות צפייה. הם נאספו מהרשת ומראים תהליכי עבודה אמיתיים בשש תוכנות מוכרות: בלנדר, פוטושופ, אוטוקאד, אקסל, סיילספורס ו־VS Code. כל סרטון עבר חיתוך ידני או אוטומטי כדי להעיף פתיחים, סיומות, מעברים וצילומים של אנשים מדברים, וגם פס הקול הוסר לגמרי.

הקבצים מחולקים לתיקיות לפי שם התוכנה. בגלל מגבלות טכניות של פלטפורמת האחסון, קטגוריות גדולות כמו בלנדר, פוטושופ ואוטוקאד פוצלו לשתי תיקיות שונות. בכל תיקייה כזו יושב קובץ מטא-דאטה שכולל את שם קובץ הווידאו, שם התוכנה, משך הסרטון בשניות וכמות המקטעים הרציפים שחוברו בו.

מתאים ל

• אימון סוכני מחשב

  לימוד מודלים איך נראית עבודה שוטפת בתוכנות מקצועיות לפי ממשק המשתמש.

• הבנת ממשקי משתמש

  ניתוח תנועות חלונות, תפריטים ופקדים באפליקציות שולחניות מורכבות.

• סיווג וידאו טכני

  זיהוי תוכנות ופעולות ספציפיות מתוך צילומי מסך נקיים ללא שמע.

איפה זה נופל

הנתונים מוגבלים לשש תוכנות בלבד, והחלוקה ביניהן לא שווה. בעוד שלבלנדר יש מעל 3,600 שעות, לתוכנה כמו VS Code יש רק 304 סרטונים ו־127 שעות. בנוסף, השפה המוגדרת היא אנגלית בלבד, וכל האודיו נמחק. המאגר מכיל רק פיקסלים של וידאו ללא רישום מדויק של פעולות עכבר ומקלדת, כך שמי שבונה סוכן יצטרך לחלץ את הפעולות עצמן מתוך התמונה.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets בפייתון. אפשר למשוך הכל יחד או לבחור קטגוריה בודדת כמו בלנדר כדי לחסוך מקום. אין צורך לבקש אישור גישה מיוחד, אבל קחו בחשבון שמדובר ביותר מ־96 אלף קבצים בפורמט MP4 ובאלפי שעות וידאו, כך שזה דורש נפח אחסון מקומי רציני ותעבורת רשת כבדה. המטא-דאטה מגיע בפורמט jsonl וכולל את שדות משך הווידאו ומספר המקטעים.

from datasets import load_dataset

ds = load_dataset("markov-ai/computer-use-large")

הרישיון

המאגר מופץ תחת רישיון CC-BY-4.0. המשמעות היא שמותר להשתמש בו לצרכים מחקריים ומסחריים, כולל אימון מודלים, ואין חובה לשתף את התוצרים באותו רישיון. התנאי היחיד הוא לתת קרדיט הולם ליוצרים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗