UI-TARS
רץ בדפדפןbytedance-researchother2025-01-24
הכלי מזהה אלמנטים גרפיים בצילומי מסך ומחזיר את נקודת הלחיצה המדויקת לפי פקודה מילולית. הוא מיועד למפתחים שרוצים לבחון סוכני אוטומציה לממשקי משתמש.
- —הורדות בחודש
- 67לייקים
מה זה
אתם מעלים צילום מסך של ממשק מחשב או טלפון, וכותבים באנגלית מה ברצונכם לעשות, כמו לחיצה על כפתור חיפוש, פתיחת מפה או מעבר לתיקייה. בתגובה, הוא מציג את התמונה עם סימון של נקודת הלחיצה, לצד הקואורדינטות המדויקות וממדי הקובץ.
מאחורי הקלעים נמצא המודל UI-TARS-7B-SFT של ByteDance, שפועל לפי קריאות לקוד שרת ומפענח את המבנה הוויזואלי של התוכנה. במקום לנתח עץ רכיבים של אתר, הוא מסתמך על הפיקסלים בלבד כדי להבין איפה נמצא כל פריט.
ההדגמות המובנות מציגות צילומי מסך מגוונים, ביניהם סוליטר, לוח בקרה של ווינדוס, הגדרות ב־iOS, דפי מוצר באמזון ואפליקציות מזג אוויר. הדוגמאות ממחישות התמודדות עם ממשקים מורכבים במערכות הפעלה שונות.
מתאים ל
- בדיקת מיקום כפתורים
העלאת צילום מסך של אתר כדי לוודא שהמודל מצליח לאתר שדות חיפוש וכפתורי ניווט.
- זיהוי פקודות במובייל
בדיקה של צילומי מסך ממכשירי אפל או אנדרואיד כדי למצוא מתגי הפעלה והגדרות מערכת.
- ניתוח תוכנות שולחניות
חילוץ קואורדינטות מתוך ממשקי תוכנה ישנים או יישומי שולחן עבודה ללא גישה לקוד המקור.
איפה זה נופל
האפליקציה מחזירה רק מיקום לחיצה בודד על גבי תמונה קבועה, ולא מריצה פעולות בפועל או תומכת ברצף פעולות אינטראקטיבי. צילומי מסך מורכבים במיוחד עלולים להניב קואורדינטות שגויות, ולכן הממשק כולל כפתורי דיווח על טעויות. לא מומלץ להסתמך על המיקומים האלה באוטומציה אמיתית בלי לוודא אותם ידנית מראש.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
השימוש בעמוד פתוח וחינמי לגמרי ללא צורך בהזנת כרטיס אשראי. כל מה שנדרש הוא לפתוח את הדפדפן, להעלות תמונה ולהריץ את הבדיקה. אין דרישה למנוי או תשלום על הדוגמאות.
מה קורה עם צילומי המסך שמעלים לכלי?
קוד האפליקציה כולל חיבור לשירות האחסון OSS של עליבאבא ומשתמש בפרטי התחברות מהסביבה. המשמעות היא שהתמונות והפקודות שאתם שולחים מועברות לשרתים חיצוניים ונשמרות שם לצורך עיבוד ובחינת תוצאות. מסיבה זו, עדיף לא להעלות צילומי מסך שכוללים מידע אישי או רגיש.
האם אפשר להריץ את המערכת מקומית על המחשב?
הקוד של הממשק כתוב ב־Gradio וזמין בעמוד, כך שניתן לשכפל אותו. עם זאת, המודל עצמו, UI-TARS-7B-SFT, דורש משאבי חישוב כבדים או גישה לנקודת קצה מרוחקת שמריצה אותו. כדי להריץ את הכל מקומית תצטרכו חומרת GPU מתאימה להרצת מודל של שבעה מיליארד פרמטרים.
במה ההדגמה הזו שונה מהמודל המלא?
ההדגמה מציגה רק צעד בודד שבו המודל מקבל תמונה ומחזיר נקודה אחת ללחיצה. המודל השלם תוכנן לפעול כסוכן עצמאי שיכול לבצע רצף של פעולות במחשב, כולל גלילה והקלדה. כאן אתם מקבלים רק תצוגה סטטית של יכולת הראייה והמיפוי שלו.
איך משתמשים
טוענים תמונה, מקלידים הנחיה בתיבת הטקסט ולוחצים על Submit, או שבוחרים באחת מתבניות הדוגמה המוכנות. אין צורך בהרשמה או התחברות כדי להתחיל. השרת של ההדגמה מוגדר על מעבד בסיסי בלבד, אך הקוד שולח בקשות חיצוניות דרך לקוח תואם OpenAI, כך שזמן התגובה תלוי בעיבוד המרוחק ועשוי לקחת מספר שניות.
הרישיון
הרישיון מוגדר כ־other, כלומר אין רישיון קוד פתוח סטנדרטי מוצהר עבור ההדגמה. הקוד טוען ספריית אחסון ענן מסוג OSS, מה שמעיד על שמירה אפשרית של התמונות וההנחיות בשרתי החברה לצורך איסוף משוב.