ShowUI-2B

מה זה

מדובר במודל מבוסס Qwen2-VL עם שני מיליארד פרמטרים, שנבנה במיוחד כדי להבין צילומי מסך ולתרגם אותם לצעדים מעשיים. המטרה העיקרית שלו היא חיבור בין הוראות טקסטואליות לבין נקודות לחיצה מדויקות על המסך, מה שנקרא UI grounding, לצד ניווט של ממש בתוך תוכנות ואתרים.

היתרון שלו מול מודלים כלליים בגודל הזה הוא המיקוד. במקום לנסות לתאר תמונות נוף, הוא מאומן לזהות כפתורים, שדות קלט ותפריטים ולהחזיר מיקומי X ו־Y ספציפיים. עם משקל של 4.1 גיגה בייט בלבד, הוא מנסה לתת מענה מקומי למשימות שדורשות בדרך כלל מודלי ענק יקרים.

מתאים ל

• איתור כפתורים בצילומי מסך

  הוא יודע להמיר בקשה מילולית לקואורדינטות נקודתיות של אלמנט ספציפי בתמונה.

• סוכני אוטומציה מקומיים

  הגודל הקל מאפשר להריץ אותו ישירות על מחשב המשתמש בלי להוציא צילומי מסך לרשת.

• ניווט שלב אחר שלב בתוכנות

  הוא מקבל הנחיות מערכת ומזהה את הרצף הנדרש כדי לבצע פעולות בממשק משתמש.

איפה זה נופל

מודל בגודל שני מיליארד פרמטרים מוגבל מאוד ביכולת ההסקה שלו. כרטיס המודל לא מציג ציוני מבחנים מלאים או נתונים על אחוזי הדיוק בפועל, אלא רק הדגמות בסיסיות של איתור נקודות וניווט לפי הוראות. בממשקים עמוסים, בפונטים קטנים או באתרים בעברית שלא נבדקו כאן, קל לו לפספס את הכפתור הנכון בכמה פיקסלים קריטיים, ולכן חובה לבדוק אותו על המסכים האמיתיים שלכם לפני שמחברים אותו לקליקים אוטומטיים.

איך מריצים

המשקל הכולל של הקבצים עומד על 4.1 גיגה בייט בדיוק bfloat16, כך שכרטיס מסך ביתי פשוט עם 6 עד 8 גיגה זיכרון יריץ אותו בלי בעיה. הוא רץ ישירות דרך הארכיטקטורה של Qwen2VLForConditionalGeneration בספריית transformers.

אם אתם צריכים אוטומציה שרצה מקומית על מחשב הקצה בלי לשלוח צילומי מסך רגישים החוצה, שווה להרים אותו לבד. לעומת זאת, אם המטרה היא ניווט מורכב באתרים שדורש הבנה עמוקה של טקסטים ארוכים והקשר עסקי, מודל של 2B יתקשה לעמוד בקצב ועדיף לפנות למודל גדול יותר דרך ממשק מרוחק.

pip install -U huggingface_hub
hf download showlab/ShowUI-2B

הקבצים

16 קבצים במאגר, 4.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin4.4 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• examples/0730d43001da36204b8cb9495b61308.png67.6 KB
• examples/chrome.png67.6 KB
• examples/showui.jpg54.8 KB
• README.md7.4 KB
• tokenizer_config.json4.2 KB
• .gitattributes1.5 KB
• config.json1.2 KB
• chat_template.json928 B
• preprocessor_config.json567 B
• special_tokens_map.json467 B
• added_tokens.json392 B
• generation_config.json255 B

הרישיון

הקוד והמשקלים מפורסמים תחת רישיון MIT. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו הלאה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית של המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗