ShowUI
רץ בדפדפןshowlabרישיון לא דווח2024-11-27
הכלי מזהה אלמנטים ללחיצה בתוך צילומי מסך לפי הוראה טקסטואלית, ומחזיר את המיקום המדויק שלהם על המסך. הוא מיועד למי שמפתח סוכני אוטומציה לממשקי משתמש ורוצה לבדוק דיוק בלוקליזציה.
- —הורדות בחודש
- 240לייקים
מה זה
אתם מעלים צילום מסך של אפליקציה או אתר, וכותבים הנחיה קצרה באנגלית שמגדירה מה אתם רוצים לעשות. בתמורה, מקבלים תמונה עם נקודת ציון מסומנת ותיבת טקסט עם קואורדינטות יחסיות של הנקודה ללחיצה, בטווח שבין אפס לאחד.
מאחורי הקלעים רץ המודל showlab/ShowUI-2B, שמבוסס על Qwen2-VL-2B-Instruct. המודל מתמקד בפענוח ויזואלי של ממשקים ומיפוי טקסט למיקום על המסך, תוך אפשרות לכוונון עדין של הניחוש באמצעות מנגנון איטרציות מובנה.
הממשק כולל דוגמאות מוכנות שבודקות תרחישים אמיתיים, כמו צילום מסך של חנות האפליקציות עם ההוראה להוריד את קינדל, או תמונת הגדרות של iOS עם בקשה לכבות את מצב 'נא לא להפריע'.
מתאים ל
- בדיקת מיקום לסוכני UI
אימות היכולת של המודל לפגוע בכפתור הנכון מתוך צילום מסך לפני שמשלבים אותו בבוט.
- חילוץ נקודות לחיצה לאוטומציה
קבלת קואורדינטות יחסיות להפעלת סקריפטים שמבצעים הקלקות על המסך.
- השוואת צעדי חידוד
בדיקה אם הרצה של שניים או שלושה שלבי עידון משפרת את הדיוק באלמנטים קטנים.
איפה זה נופל
זה לא סוכן אוטונומי שמבצע פעולות, אלא רק מנגנון לזיהוי מיקום. האפליקציה לא לוחצת על שום דבר, לא מנהלת תהליכים מרובי שלבים ולא מנווטת לבד בין מסכים.
ההנחיות בדוגמאות מנוסחות באנגלית פשוטה וקצרה. אין שום מידע על תמיכה בממשקים בעברית או בהוראות בעברית, וסביר להניח שפענוח כיווניות ימין-שמאל יתקשה כאן מאוד. בנוסף, חלוקת הקואורדינטות היא יחסית, כך ששינויי רזולוציה עשויים להשפיע על הדיוק במערכות אמיתיות.
שאלות
נפוצות
האם השימוש בהדגמה כרוך בתשלום?
לא, השימוש בעמוד פתוח וחינמי לגמרי. הוא רץ על תשתית שיתופית של Hugging Face ואינו דורש הרשמה או הזנת אמצעי תשלום.
כמה זמן לוקח לקבל תוצאה?
העיבוד עצמו לוקח שניות בודדות ברגע שהחומרה פעילה. אם החומרה בדיוק מתעוררת או שיש עומס תורים, ייתכן שתמתינו מעט יותר.
האם אפשר להריץ את הכלי מקומית על המחשב?
כן, המודל והקוד נשענים על ספריות Transformers ו־Qwen2-VL רגילות. אפשר להוריד את המשקולות של ShowUI-2B מ־Hugging Face ולהריץ אותן עצמאית על כרטיס מסך מתאים.
במה הדף הזה שונה מהמודל עצמו?
הדף הוא ממשק גרפי מוגבל שמיועד להדגמה של תמונה בודדת. המודל עצמו הוא מודל ראייה-שפה שאפשר לשלב בקוד מלא כדי לפתח סוכנים שמבצעים רצף פעולות שלם.
איך משתמשים
טוענים צילום מסך, כותבים את הבקשה, בוחרים בסליידר בין אחד לשלושה צעדי חידוד ולוחצים על Submit. התהליך מתבצע ישירות בדפדפן בלי צורך בהרשמה או התחברות.
הקוד רץ על חומרת zero-a10g של Hugging Face. כשהשרת חם העיבוד לוקח שניות בודדות, אבל אם השרת במצב שינה או שיש עומס משתמשים, תצטרכו להמתין להקצאת משאבים.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד ההדגמה, וכדאי להיזהר מהעלאת צילומי מסך שכוללים פרטים רגישים או מידע אישי מזהה.