OmniParser-v2
רץ בדפדפןmicrosoftmit2025-02-13
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
הכלי מפרק צילומי מסך לרכיבי ממשק מזוהים ומייצר מהם מידע מובנה למודלי שפה. הוא מיועד למי שמפתח סוכנים אוטומטיים שצריכים להבין ממשקים גרפיים ולפעול עליהם.
- —הורדות בחודש
- 459לייקים
מה זה
אתם מעלים תמונת מסך ומקבלים שתי תוצאות במקביל. בצד אחד מופיעה התמונה המקורית כשהיא מסומנת בתיבות תוחמות ומספרים סביב כל כפתור, שדה או אזור לחיץ. בצד השני מופיע פלט טקסטואלי שמפרט את כל הרכיבים שזוהו על המסך, כולל המיקום המדויק שלהם ותיאור של מה שמופיע בהם.
מאחורי הקלעים פועל שילוב של כמה מודלים שונים. היישום מוריד ומריץ את OmniParser-v2.0 לזיהוי מבנה המסך לצד מודלים נוספים שמטפלים בזיהוי תמונה וטקסט, בהם Florence-2-base של מיקרוסופט ו־blip2-opt-2.7b של Salesforce. השילוב הזה אחראי לסריקת הטקסט וליצירת התיאורים של האלמנטים הגרפיים, כשיש גם אפשרות לשלב בדיקות מבוססות PaddleOCR לדיוק הקריאה.
מתאים ל
- הזנת נתונים לסוכני ממשק
חילוץ רשימת כפתורים ושדות מצילום מסך כדי להעביר אותם כקלט מובנה למודל שפה שמנהל פעולות במחשב.
- בדיקת איכות זיהוי אלמנטים
כוונון ערכי סף ובחינה מדויקת של יכולת זיהוי רכיבים גרפיים על גבי ממשקים מורכבים לפני פיתוח.
- חילוץ מבנה של מסכים
המרת תמונות ממשק למבנה טקסטואלי שממפה היכן נמצא כל רכיב גרפי ומה התוכן שמוצג בו.
איפה זה נופל
ההדגמה מציגה רק את שלב הפירוק והזיהוי של המסך, ולא מריצה סוכן אוטונומי שמקליק או מבצע פעולות בעצמו. כדי להגיע למערכת שבאמת מתפעלת ממשק תצטרכו לחבר את הפלט למודל שפה חיצוני ולכתוב את הלוגיקה שמבצעת את הפעולות. בנוסף, חדות התמונה וההגדרות של ספי הזיהוי משפיעות ישירות על התוצאה, ואלמנטים קטנים או עיצובים לא שגרתיים עלולים להתפספס או לקבל תיוג שגוי.
אותה משפחה
OmniParser יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה להדגמה בדפדפן חופשית לחלוטין ואינה דורשת תשלום או חשבון. השרת פועל במשאבים ציבוריים שמוקצים לקהילה.
האם האפליקציה מבצעת פעולות במחשב בעצמה?
לא. הממשק רק מנתח את צילום המסך שהעליתם, משרטט עליו תיבות ומפיק רשימת רכיבים. ביצוע הפעולות עצמן דורש חיבור למודל שפה ולתשתית אוטומציה נפרדת.
אפשר להריץ את המערכת הזו באופן מקומי?
כן, הקוד והמודלים זמינים להורדה תחת רישיון MIT. כדי להריץ אותם מקומית יש צורך במחשב עם מעבד גרפי תואם והתקנה של החבילות הנדרשות מתוך המאגר.
מה קורה לתמונות שאני מעלה לכלי?
התמונות מועברות לשרת העיבוד לצורך הניתוח בלבד ואינן מפורסמות בעמוד. למרות זאת, מומלץ להימנע מהעלאת צילומי מסך שמכילים פרטים רגישים או סיסמאות לסביבות ציבוריות.
איך משתמשים
גוררים צילום מסך לשדה הקלט ולוחצים על כפתור השליחה. לפני ההרצה אפשר לכוונן סליידרים של ספי זיהוי וחפיפה, גודל תמונה, או לסמן שימוש ב־PaddleOCR כדי לדייק את התוצאה. השרת רץ על מאיץ גרפי מסוג A10G בתצורת שיתוף משאבים, כך שהעיבוד מהיר יחסית אבל ייתכן שתמתינו בתור קצר אם יש עומס של בקשות באותו רגע. אין צורך בהרשמה או התחברות כדי לבדוק את המערכת.
הרישיון
הפרויקט מופץ תחת רישיון MIT שמאפשר שימוש חופשי לחלוטין, כולל הטמעה ביישומים מסחריים ושינוי הקוד. הקבצים והתמונות שאתם מעלים מעובדים בתוך סביבת הדמו של Hugging Face ואין מידע על שמירה קבועה שלהם מעבר לזמן הריצה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש