GUI-Owl-7B

מה זה

מדובר במודל ראייה ושפה שמבוסס על הארכיטקטורה של Qwen2.5-VL, שתוכנן כחלק מפרויקט Mobile-Agent-V3. במקום להתמקד בתיאור כללי של תמונות, הדגש כאן הוא הבנה מדויקת של רכיבי ממשק משתמש. הוא נבדק במבחני ביצועים ייעודיים לתחום כמו ScreenSpot, Android Control ו־OSWorld, שמודדים יכולת לאתר אלמנטים גרפיים, לעקוב אחר הוראות ולבצע רצף פעולות במערכות הפעלה שונות.

הייחוד שלו מול מודלים רב-מודאליים כלליים בגודל שמונה מיליארד פרמטרים הוא ההתמחות באוטומציה של ממשקים. הוא נועד לפעול כסוכן עצמאי או כחלק ממערך סוכנים שמחלקים ביניהם משימות של תכנון וביצוע. היכולת לקבל תמונות ברזולוציה גמישה ועיבוד חלון הקשר של עד 32,768 טוקנים מאפשרים לו לעקוב אחר היסטוריית פעולות ארוכה יחסית בלי לאבד את ההקשר של המסך הקודם.

מתאים ל

• אוטומציה לאנדרואיד

  זיהוי כפתורים ושדות טקסט במסכי טלפון כדי לבצע פעולות מוגדרות מראש.

• סוכני בדיקות ממשק

  הרצת בדיקות קבלה ובדיקות תוכנה אוטומטיות על גבי מערכות הפעלה שונות.

• ניווט במערכות שולחניות

  קריאת צילומי מסך במחשב ותרגום פקודות משתמש להקלקות על רכיבים גרפיים.

איפה זה נופל

הכרטיס מציין תמיכה באנגלית בלבד, כך שממשקים בעברית או טקסטים מימין לשמאל עלולים להכשיל אותו לחלוטין בזיהוי כפתורים. בנוסף, המודל מוגבל מאוד בכמות התמונות שהוא מקבל בכל פרומפט. כברירת מחדל ההגדרה מאפשרת שתי תמונות בלבד, וכדי לנתח רצף מסכים ארוך יותר נדרשת פשרה ישירה על רזולוציית התמונה, מה שעלול לגרום לפספוס טקסטים קטנים בממשק.

איך מריצים

המשקל הכולל של הקבצים עומד על 15.5 גיגה-בייט בפורמט bfloat16. המפתחים ממליצים להריץ אותו באמצעות vLLM, ובתיעוד הם מציגים בדיקה שנעשתה על כרטיס A100 עם 96 גיגה-בייט זיכרון גרפי, תחת חלוקת משאבים מותאמת. הרצה כזו דורשת חומרה שרתית כבדה, במיוחד אם רוצים לנצל את מלוא חלון ההקשר.

יש כאן טרייד-אוף ברור בהגדרות השרת בין מספר התמונות לרזולוציה שלהן. כדי להזין יותר משני צילומי מסך בבקשה אחת, חייבים להוריד את רף הפיקסלים המקסימלי כדי לא לחנוק את הזיכרון. אם אין לכם כרטיס ייעודי חזק פנוי, עדיף להשתמש במודל מסחרי דרך ממשק קיים במקום לנסות להחזיק תשתית כזו בעצמכם.

pip install -U huggingface_hub
hf download mPLUG/GUI-Owl-7B

הקבצים

16 קבצים במאגר, 15.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00005.safetensors3.9 GB
• model-00004-of-00005.safetensors3.9 GB
• model-00003-of-00005.safetensors3.9 GB
• model-00002-of-00005.safetensors3.9 GB
• model-00005-of-00005.safetensors1.1 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json57.6 KB
• tokenizer_config.json11.1 KB
• README.md3.5 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• chat_template.json1.1 KB
• preprocessor_config.json350 B
• generation_config.json244 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה חופשית, בתנאי ששומרים על הצהרת זכויות היוצרים המקורית של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗