VideoCUA
קוד פתוחServiceNowmit2025-07-22
הקלטות וידאו רציפות של עבודה אנושית אמיתית בתוכנות שולחניות, מסונכרנות עם קליקים והקלדות ברמת המילישנייה. חומר גלם נדיר למי שמפתח סוכנים גרפיים או מודלי פעולה מבוססי מסך.
- 1,124הורדות בחודש
- 33לייקים
מה זה
המאגר מכיל כעשרת אלפים משימות שונות שמסתכמות בחמישים וחמש שעות של הקלטת מסך רציפה בקצב של 30 פריימים לשנייה, סך הכל כשישה מיליון פריימים. כל המשימות מתועדות על פני 87 תוכנות מחשב מקצועיות ב־12 קטגוריות, בהן כלים מוכרים כמו 7-Zip, Anki, Affine ו־Arduino IDE.
במקום צילומי מסך בודדים ומנותקים, כאן נשמר הרצף המלא של הפעולות: תנועות עכבר, גרירות, גלילה והקלדות. הנתונים מאורגנים בתיקיית raw_data המחולקת לקובץ דחוס נפרד לכל תוכנה. בתוך כל ארכיון ישנן תיקיות לפי מזהה משימה, ובתוכן קובץ וידאו MP4 ברזולוציה של 1920 על 1080 לצד קובץ action_log.json שמפרט את הוראת המשימה ואת רשימת הפעולות המתועדות בציר הזמן.
מתאים ל
- אימון סוכני מחשב
לימוד מודלים לבצע משימות בממשקי משתמש באמצעות חיזוי הקליק או המקש הבא מתוך וידאו.
- למידת חיקוי לממשקים
אימון מודלים על התנהגות אנושית רציפה בעכבר ובמקלדת בתוכנות שולחניות מקצועיות.
- בניית מודלי תגמול
הערכה אם רצף פעולות שבוצע בווידאו אכן השלים את משימת המשתמש שהוגדרה מראש.
איפה זה נופל
כל התוכן מוגבל לאנגלית בלבד, כך שאין כאן שום ייצוג לממשקים בעברית או לכיווניות מימין לשמאל. המשימות מוקלטות בסביבת שולחן עבודה טיפוסית וכוללות רק 87 תוכנות ספציפיות, מה שעלול לייצר הטיה מובהקת ליישומים שנבחרו ולא לכסות דפוסי שימוש במערכות ארגוניות ייחודיות. בנוסף, חילוץ רצפי חשיבה וניתוח מעמיק דורש הרצה של מודלים חיצוניים לפי הסקריפטים של הפרויקט, כך שהמידע הגולמי עצמו מכיל בעיקר פעולות פיזיות יבשות ללא הסבר על שיקול הדעת מאחורי כל לחיצה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הדאטהסט משוחרר ברישיון MIT, שמתיר שימוש מסחרי, שינויים והפצה. הדרישה העיקרית היא השארת תנאי הרישיון וזכויות היוצרים בקבצי המקור.
האם יש במאגר ממשקים או הוראות בעברית?
לא. כל ההקלטות, התוכנות והוראות המשימה מבוססות על השפה האנגלית בלבד. אם המערכת שלכם צריכה לפעול על ממשקים בעברית, תצטרכו לאסוף נתונים מתאימים בנפרד.
איך הנתונים נאספו?
מדובר בהקלטות של משתמשים אנושיים שביצעו כעשרת אלפים משימות מוגדרות ב־87 תוכנות שולחניות. במקביל להקלטת הווידאו נלכדו כל הפעולות במקלדת ובעכבר ברמת דיוק של מילישניות.
במה הוא שונה מדאטהסטים אחרים של ממשקי משתמש?
רוב המאגרים בתחום מציעים רק צילומי מסך בודדים לפני פעולה ואחריה. כאן מקבלים וידאו רציף ומלא של 30 פריימים בשנייה שמראה גם את תנועת העכבר, ההמתנה והגלילה לאורך זמן.
איך טוענים
הנתונים יושבים ב־87 קובצי zip תחת תיקיית raw_data, ללא צורך באישור גישה מוקדם. כדי להשתמש בהם בפועל, החוקרים מספקים סקריפטים בגיטהאב שמורידים את הקבצים, חותכים פריימים לפי חותמות הזמן של הפעולות ומייצרים רצפי אימון. המפתח המרכזי בכל פעולה הוא action_params שמכיל קואורדינטות מדויקות, וכן מזהה בשם groundcua_id שמקשר ישירות לצילומי מסך מתויגים במאגר GroundCUA. מדובר בנפח וידאו כבד של עשרות שעות ב־1080p, כך שצריך להיערך עם שטח אחסון משמעותי וכוח עיבוד מתאים לחילוץ התמונות.
from datasets import load_dataset
ds = load_dataset("ServiceNow/VideoCUA")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מאפשר שימוש מסחרי מלא, שינוי, הפצה ושילוב במוצרים סגורים, ללא חובת שיתוף באותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי. המשמעות היא שניתן לאמן על הנתונים מודלים מסחריים בחופשיות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש