OmniParser-v2.0

מה זה

במקום לתת למודל שפה גדול לנסות לנחש איפה נמצא כל כפתור בתמונה עמוסה, מקבלים צינור עיבוד ייעודי שמפרק את המסך לגורמים. המערך משלב שתי רשתות נפרדות שעברו אימון ייעודי: גרסה מותאמת של YOLOv8 שמזהה אזורים לחיצים ואייקונים ברשת ובאפליקציות, ומודל Florence-2 base שמייצר תיאור טקסטואלי לכל אלמנט ולתפקיד שלו.

בגרסה השנייה הם ניקו את הדאטה וחתכו 60 אחוז מזמני ההמתנה ביחס לגרסה הקודמת. במבחן ScreenSpot Pro הוא מגיע לדיוק ממוצע של 39.6 אחוז בזיהוי ומיקום אלמנטים על המסך, מה שמספיק כדי לייצר רשימת רכיבים מובנית שסוכנים כמו DeepSeek R1 או GPT-4o יכולים לעבוד איתה דרך כלי כמו OmniTool.

מתאים ל

• סוכני שליטה במחשב

  חיבור למודלי שפה דרך OmniTool להפעלת לחיצות ועכבר במערכות חלונות ואפליקציות.

• פירוק ממשק משתמש לקוד

  המרת צילומי מסך מהמובייל או הדפדפן לעץ אלמנטים מובנה עם תיאור פעולה לכל כפתור.

• בדיקות תוכנה אוטומטיות

  זיהוי כפתורים ורכיבים פעילים במסכים משתנים כדי להריץ תרחישי בדיקה בלי תלות ב־DOM.

איפה זה נופל

הדיוק עומד על 39.6 אחוז בבנצ'מרק של ScreenSpot Pro, מה שאומר שיותר ממחצית מהאלמנטים המורכבים עלולים להתפספס או לקבל מיקום שגוי. הוא לא מנתח תוכן פוגעני או זדוני בצילומי המסך, ואם הסוכן שלכם מקבל החלטות עצמאיות על בסיס הזיהוי, אתם מסתכנים בלחיצות לא נכונות בממשק חי. חייבים לבנות שכבת בדיקה ידנית או ולידציה קשיחה לפני שנותנים לו להקליק על דברים קריטיים.

אותה משפחה

OmniParser יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל יושב על כגיגה בודד, כך שאין כאן צורך במפלצות שרתים מורכבות. לפי המדידות, על כרטיס Nvidia RTX 4090 מקבלים זיהוי מסגרת מלא בתוך 0.8 שניות, ועל כרטיס A100 זה יורד ל־0.6 שניות לכל פריים.

מריצים אותו מקומית בספריית transformers כשרוצים לשלוט במכונות וירטואליות או באפליקציות שולחניות רגישות בלי להוציא צילומי מסך לרשת. אם הזמן שלכם יקר ואין לכם עניין לנהל סביבת פייתון מקומית עם שני מודלים במקביל, שווה לשקול ספקי API חיצוניים שמציעים ראייה ממוחשבת מובנית, אבל כאן מקבלים שליטה מלאה בנתונים.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/OmniParser-v2.0")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 1.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• icon_caption/model.safetensors1.1 GB
• icon_detect/model.pt40.6 MB
• icon_detect/LICENSE34.5 KB
• handler.py21.7 KB
• icon_caption/config.json5.7 KB
• README.md3.1 KB
• icon_detect/train_args.yaml1.7 KB
• .gitattributes1.5 KB
• icon_detect/model.yaml1.1 KB
• icon_caption/LICENSE1.1 KB
• icon_caption/generation_config.json292 B
• requirements.txt104 B
• config.json0 B

הרישיון

למרות הסימון הכללי של MIT בעמוד, יש כאן מלכודת משפטית. המפרסמים מציינים מפורשות שמודל זיהוי האייקונים יושב תחת רישיון AGPL המחמיר, ורק מודל התיאורים מחולק ברישיון MIT. שימוש מסחרי שמפיץ את הקוד מחייב פתיחה של הקוד שלכם בגלל ה־AGPL, לכן אם אתם סוגרים מוצר קנייני, תצטרכו לבדוק היטב איך אתם מבודדים את הריצה שלו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗