OmniParser — הדגמה

מה זה

הכלי מקבל תמונה של מסך ומחזיר שלושה דברים: תמונה מסומנת עם תיבות סביב האלמנטים שזוהו, רשימת טקסט של הרכיבים, ותיבת טקסט עם הקואורדינטות המדויקות שלהם.

מאחורי הקלעים רץ שילוב של מודלים. הקוד טוען את Florence-2-base של מיקרוסופט שעבר התאמה לתיאור אייקונים, יחד עם זיהוי אובייקטים שמבוסס על מודל YOLO שמאתר את התיבות על המסך. בנוסף מוגדרים ברקע מודלים כמו blip2 ורכיבי OCR, שמטרתם לחלץ טקסט ולתאר מה כל כפתור עושה, כך שסוכן אוטומציה יכול להבין איפה ללחוץ בלי לקרוא את קוד המקור של היישום.

מתאים ל

• זיהוי כפתורים לאוטומציה

  מאתרים רכיבים לחיצים בצילומי מסך כדי לתת קואורדינטות לסוכני הפעלה אוטומטיים.

• חילוץ מבנה ממשק למודלי שפה

  ממירים תמונת ממשק למבנה טקסטואלי שמודל שפה גדול מסוגל לפענח ולהבין.

• בדיקת ספי זיהוי גרפיים

  משחקים עם סליידרים של חפיפה ודיוק כדי לבדוק איך המודל תופס צילום מסך נתון.

איפה זה נופל

ההדגמה נמצאת במצב תקול, מה שאומר שאי אפשר להריץ אותה ישירות כרגע דרך הממשק. מעבר לזה, המערכת מזהה אלמנטים על פי מראה בלבד, כך שאם ספי הזיהוי בסליידרים לא מכוילים נכון, היא עלולה לפספס כפתורים קטנים או לתייג גרפיקה סתמית כרכיב לחיץ.

אותה משפחה

OmniParser יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טוענים תמונה בצד שמאל, קובעים את רגישות הזיהוי באמצעות שני סליידרים של סף תיבה וסף חפיפה, ולוחצים על כפתור השליחה. הדף רץ על חומרת A10G של אנבידיה שמוקצית לפי דרישה, כך שעיבוד תמונה אמור לקחת שניות בודדות, אבל נכון לעכשיו ההדגמה מדווחת על שגיאת ריצה ולא תעבוד בדפדפן עד שיתקנו אותה.

pip install -U huggingface_hub
hf download microsoft/OmniParser

הקבצים

20 קבצים במאגר, 8.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• icon_caption_blip2/pytorch_model-00001-of-00002.bin5.0 GB
• icon_caption_blip2/pytorch_model-00002-of-00002.bin2.5 GB
• icon_caption_florence/model.safetensors1.1 GB
• icon_detect_v1_5/model_v1_5.pt40.6 MB
• icon_detect/model.safetensors6.1 MB
• icon_caption_blip2/pytorch_model.bin.index.json121.7 KB
• icon_detect/LICENSE34.5 KB
• icon_detect_v1_5/LICENSE34.5 KB
• icon_caption_florence/config.json5.7 KB
• README.md3.1 KB
• icon_detect_v1_5/train_args.yaml1.7 KB
• .gitattributes1.5 KB
• icon_detect_v1_5/model.yaml1.1 KB
• icon_caption_blip2/LICENSE1.1 KB
• icon_caption_florence/LICENSE1.1 KB
• icon_detect/model.yaml1.1 KB
• config.json985 B
• icon_caption_blip2/config.json985 B
• icon_caption_florence/generation_config.json292 B
• icon_caption_blip2/generation_config.json136 B

הרישיון

הפרויקט מופץ תחת רישיון AGPL 3.0, שמחייב שיתוף קוד פתוח של כל שינוי ושילוב ברשת. לגבי תמונות שאתם מעלים, לא מצוין תנאי פרטיות מיוחד מעבר למה שחוקי ברישיון ובשרת הציבורי, אז עדיף לא להעלות צילומי מסך עם מידע אישי או רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗