ProCUA-SFT
קוד פתוחnvidiacc-by-4.02026-05-21
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
המאגר כולל מסלולי פעולה סינתטיים של מודלים שמפעילים שולחן עבודה מתוך צילומי מסך. הוא מיועד למי שמאמן סוכני מחשב לבצע משימות בממשק גרפי באמצעות פקודות עכבר ומקלדת.
- 3,872הורדות בחודש
- 16לייקים
מה זה
הנתונים מכילים 93,566 מסלולי פעולה מלאים שנאספו בסביבת שולחן עבודה וירטואלית. כל רשומה כוללת צילומי מסך לאורך הדרך, קובץ נתונים במבנה JSON שמפרט את מטרת המשימה, תתי יעדים, והוראות ביצוע מוגדרות שנשענות על קוד בסגנון PyAutoGUI יחד עם שרשרת החשיבה הגולמית של המודל המבצע.
התוכן נבנה כולו באופן סינתטי על ידי מודל הראייה והשפה Kimi-K2.5, שניהל את הגדרת המטרות, בדיקת תנאי הקדם להפעלת המשימה, וביצוע הפעולות בפועל. המשימות נשענות על סביבות עבודה אמיתיות, בהן קונפיגורציות מרובות תוכנות מתוך OSWorld, גיליונות אלקטרוניים אמיתיים מתוך SpreadsheetBench, ומצגות מתוך Zenodo10K.
הקבצים מחולקים לארבעה חלקים פנימיים: החלק הראשון כולל 16,558 מסלולים, השני 59,096 מסלולים, השלישי 5,912 מסלולים והרביעי 12,000 מסלולים. החלוקה הזו נועדה לניהול האחסון בלבד, ואינה מהווה חלוקה מובנית לסט אימון, בדיקה או ולידציה.
מתאים ל
- אימון סוכני שולחן עבודה
אימון מודלי שפה וראייה לביצוע פעולות עכבר ומקלדת ישירות מתוך צילומי מסך.
- פירוק משימות אוטונומי
לימוד מודלים לפרק יעדי על מורכבים לתתי יעדים ברורים בסביבת מחשב.
- למידת פעולות מבוססות קוד
אימון מודלים להפקת פקודות PyAutoGUI מדויקות מתוך זיהוי ויזואלי של ממשקים.
איפה זה נופל
כל הנתונים נוצרו בצורה סינתטית לחלוטין על ידי מודל יחיד, Kimi-K2.5. המשמעות היא שההטיות, הטעויות והעיוורון של המודל הספציפי הזה מוטמעים בכל הפעולות ובשרשראות החשיבה. המאגר מוגדר כולו באנגלית בלבד, ואין בו שום תמיכה בעברית, בממשקים מקומיים או במערכות הפעלה מימין לשמאל. בנוסף, חלוקת התיקיות אינה מכילה פיצול סטנדרטי לאימון ומבחן, כך שחובה להגדיר פיצול עצמאי לפני תחילת העבודה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי מלא, כולל אימון מודלים שמיועדים למכירה. החובה היחידה היא לתת קרדיט נאות ל־NVIDIA ולמפתחים לפי תנאי הרישיון.
האם הדאטהסט כולל תמיכה בממשקים בעברית?
לא. כל הנתונים, המטרות, שרשראות החשיבה והממשקים נאספו באנגלית בלבד. אם תרצו לאמן סוכן שיפעל מול מערכות הפעלה או תוכנות בעברית, תצטרכו להשלים נתונים נוספים באופן עצמאי.
איך בנוי המאגר מבחינת קבצים וכמה קשה לטעון אותו?
הוא לא נטען בפקודת טעינה בודדת של שורה אחת. הנתונים ארוזים בכ־50 קובצי tar.zst בגלל כמות עצומה של צילומי מסך, ויש לחלץ אותם לדיסק המקומי כדי לקבל את קובצי ה־JSON ותמונות ה־PNG.
מאיפה הגיעו הנתונים והאם בני אדם ביצעו את המשימות?
אף אדם לא הדגים את הפעולות. התהליך כולו נוצר באופן אוטומטי על ידי מודל Kimi-K2.5, שיצר משימות והריץ אותן בסביבות מבוססות OSWorld, גיליונות אלקטרוניים ומצגות Zenodo10K.
איך טוענים
המאגר פתוח להורדה ישירה ללא צורך באישור גישה מראש. הוא אינו מגיע בפורמט טבלאי פשוט של Hugging Face, אלא ארוז בכ־50 ארכיונים מכווצים מסוג tar.zst תחת תיקיית shards, לצד קובצי manifest ודוח טכני ב־PDF. כדי לעבוד איתו פותחים את הארכיונים מקומית באמצעות unzstd ויוצרים מבנה תיקיות שלם. בכל תיקיית מסלול יש קובץ trajectory.json ותמונות PNG של צילומי המסך, ששמותיהם מקושרים ישירות לשדות ה־screenshot בתוך הקובץ.
from datasets import load_dataset
ds = load_dataset("nvidia/ProCUA-SFT")הרישיון
המאגר מופץ תחת רישיון Creative Commons Attribution 4.0 International. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב שיתוף של תוצרים או מודלים מאומנים תחת אותו הרישיון. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים ולמקורות הנתונים שעליהם התבססו המשימות.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס