computer-agent

מה זה

מקלידים משימה בתיבת הטקסט או בוחרים דוגמה מוכנה מתוך הרשימה, ולוחצים על הכפתור כדי להפעיל את הסוכן. בצד מוצגת סביבת העבודה של המחשב הווירטואלי, וחלון הצ'אט מציג את השלבים, ההודעות וצילומי המסך שהסוכן מייצר בזמן הביצוע.

מאחורי הקלעים רץ סוכן שנשען על מודלי ראייה גדולים כמו Qwen2.5-VL-72B-Instruct או Qwen2-VL-72B-Instruct שמוזנים מנקודת קצה ייעודית, לצד שימוש ב־CodeAgent של ספריית smolagents. המערכת מחברת את ניתוח התמונה של הממשק לפעולות בסביבת ארגז חול מסוג e2b_desktop, ומתעדת את תהליך קבלת ההחלטות.

מתאים ל

• בדיקת ביצועי מודל ראייה

  בוחנים איך המודל מזהה רכיבי ממשק ומבצע לחיצות בתוך שולחן עבודה וירטואלי.

• אוטומציה של פעולות מחשב

  מגדירים לסוכן מטלות פשוטות במערכת ההפעלה ובודקים אם הוא מסיים אותן לבד.

• איסוף נתוני שימוש לסוכנים

  צופים באופן שבו הקוד מתעד צעדים ושומר לוגים של הפעלות משתמשים לצורכי מחקר.

איפה זה נופל

המגבלה המרכזית היא שההדגמה מושהית כרגע ולכן אינה זמינה לשימוש מיידי. מעבר לכך, פעולות על שולחן עבודה מרוחק תלויות בזמני תגובה של רשת, ניתוח תמונות רצוף ועיבוד פקודות, מה שעלול להיות אטי ומסורבל. משימות מורכבות עלולות להיכשל אם הסוכן מפרש לא נכון אלמנטים גרפיים במסך.

איך משתמשים

כרגע המרחב נמצא במצב מושהה ולא ניתן להריץ אותו ישירות בדפדפן בלי הפעלה מחדש. במצב פעיל, כותבים משימה, בוחרים אם לאשר שמירת לוגים, ולוחצים על כפתור ההפעלה. יש גם כפתור לעצירת הסוכן באמצע התהליך שמזהיר שהפעולה עשויה לקחת זמן. השרת מוגדר על חומרת מעבד משודרגת, אך המודלים הכבדים עצמם מופעלים מנקודת קצה מרוחקת בענן.

הרישיון

הרישיון לא דווח בקוד או בפרטי המרחב, ולכן תנאי השימוש בקוד ובתוצרים אינם ברורים מבחינה משפטית. נוסף לכך, הקוד כולל מנגנון שמעלה תיקיות לוגים של המשתמשים למאגרים ציבוריים בהאגינג פייס, אלא אם מדובר במשימות מתוך הדוגמאות המוכנות.

הרישיון המלא ב־Hugging Face ↗