jadechoghari/OmniParser
רץ בדפדפןjadechoghariרישיון לא דווח2024-10-31
הכלי מפרק צילומי מסך של ממשקים ומזהה בהם כפתורים ואלמנטים לחיצים. הוא מיועד למפתחי סוכני ראייה שרוצים לחבר בין תמונת מסך לבין פקודות פעולה מדויקות.
- —הורדות בחודש
- 182לייקים
מה זה
מעלים צילום מסך של ממשק משתמש במחשב או בטלפון ומכוונים שני סליידרים לסף זיהוי תיבות וחפיפה ביניהן. בצד השני מקבלים תמונה מרושתת בתיבות סימון מספריות לצד רשימת טקסט שמפרטת את כל האלמנטים שזוהו על המסך, כולל המיקומים שלהם ותיאור קצר של מה שהם עושים.
מאחורי הקלעים רץ המודל OmniParser של מיקרוסופט, שמשלב זיהוי אזורים אינטראקטיביים עם מודל שמתאר אייקונים. הקוד טוען מודל זיהוי מבוסס יולו לצד מעבדי תיאור תמונה ורכיב לפענוח טקסט, כך שהתוצאה היא מבנה נתונים מסודר שהופך מסך ויזואלי גולמי למפה שסוכנים מבוססי שפה וראייה יודעים לנווט בה.
מתאים ל
- מיפוי ממשקים לסוכנים
זיהוי כל הכפתורים בצילום מסך והפיכתם לקואורדינטות מדויקות שמודלי שפה יכולים להבין.
- בדיקת ספי זיהוי
משחק עם סליידרים כדי לראות איך שינוי סף החפיפה משפיע על מציאת אייקונים קטנים במסך.
- חילוץ אלמנטים מטופסי GUI
פירוק מסכים מרובי שדות לטקסט מובנה שמפרט היכן נמצא כל רכיב אינטראקטיבי.
איפה זה נופל
המגבלה הכי בולטת כאן היא שההדגמה שבורה ולא מתפקדת בעמוד הזה. בנוסף, הכלי רק מזהה וממפה את חלקי המסך, הוא לא לוחץ עליהם בעצמו ולא מקבל החלטות אוטומטיות. הזיהוי מבוסס על ספי ראייה ידניים, כך שבממשקים מורכבים או צפופים מדי אלמנטים מסוימים עלולים להתפספס או להזדהות בטעות.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא, העמוד הזה מדווח על שגיאת בנייה ולא מאפשר להריץ בדיקות חיות. כדי להשתמש בה יש להמתין שבעל המרחב יתקן את הקוד או לפתוח גרסה משלכם.
האם השימוש בכלי עולה כסף?
השימוש במרחב הציבורי הזה אינו כרוך בתשלום ולא דורש מנוי. עם זאת, הוא רץ על חומרה חינמית ומוגבלת מאוד מסוג מעבד בסיסי.
אפשר להריץ את המערכת הזו באופן מקומי?
כן, הקוד הציבורי מציע קובצי הפעלה מלאים כולל מחברת דמו והוראות התקנה בסביבת פייתון. מורידים את משקולות המודל של מיקרוסופט ומריצים את ממשק הגראדיו על המחשב שלכם.
מה קורה לצילומי המסך שמעלים לכאן?
הקבצים נשלחים לשרת שמארח את האפליקציה לצורך עיבוד התמונה והפעלת המודלים. מכיוון שאין כאן רישיון מוגדר ומדובר בסביבה ציבורית, לא כדאי להעלות מסכים עם מידע רגיש או אישי.
איך משתמשים
טוענים תמונה של ממשק, קובעים את ערכי הספים ולוחצים על כפתור השליחה. כרגע אי אפשר להריץ את ההדגמה הזאת ישירות בדפדפן כי המופע נמצא במצב שגיאת בנייה. מעבר לכך, הקוד מוגדר לרוץ על מעבד בסיסי בלבד ללא כרטיס גרפי, מה שאומר שגם כשהיא פועלת, זיהוי של צילום מסך עמוס באייקונים דורש המתנה מורגשת ביחס לשרתי עיבוד מהירים.
הרישיון
למרות שהקוד של הפרויקט המקורי בגיטהאב מציג רישיון MIT, בממשק הזה לא דווח רישיון רשמי. המשמעות היא שאין הגדרה משפטית ברורה לגבי שימוש מסחרי בהדגמה הזו, וכל תמונה שמועלית אליה עלולה להיחשף לשרתי השירות.