AgentCPM-GUI

מה זה

מדובר בסוכן אוטונומי שמבוסס על ארכיטקטורת MiniCPM-V ומיועד לפעול ישירות מול צילומי מסך של טלפונים ניידים. במקום לפלוט טקסט חופשי ארוך, הוא מחזיר מבנה JSON תמציתי שמגדיר פעולה בודדת בכל צעד, כמו קואורדינטות לחיצה, החלקה או הקלדה. בממוצע הוא מייצר רק 9.7 טוקנים לפעולה, מה שמקצר את זמן ההמתנה בין צעדים.

החוזק העיקרי שלו נמצא באיתור אלמנטים על המסך ובשליטה באפליקציות. במבחני איתור רכיבים הוא הגיע לציון ממוצע של 71.3, הרחק מעל מודלים כמו Qwen2.5-VL-7B שנעצר ב־56.4 או מודלים סגורים כמו GPT-4o. במבחני הפעלת אפליקציות סיניות הוא מציג דיוק התאמה מלא של 91.28%, וגם במבחני אנדרואיד כלליים הוא מתחרה ראש בראש מול המובילים בקטגוריה של שבעה עד שמונה מיליארד פרמטרים.

מתאים ל

• בדיקות תוכנה לאפליקציות

  הרצה אוטומטית של תרחישי בדיקה במובייל על בסיס צילומי מסך ופקודות JSON קבועות מראש.

• אוטומציה של ממשקי אנדרואיד

  ניווט ומילוי שדות באפליקציות מובייל ללא צורך בחיבור ל־API ייעודי של האפליקציה.

• תפעול שירותים בסינית

  איסוף מידע וביצוע פעולות באפליקציות מזרח אסייתיות שהמודל אומן עליהן באופן ממוקד.

איפה זה נופל

המודל אומן ונבדק על אנגלית וסינית בלבד, עם דגש כבד על אפליקציות סיניות פופולריות כמו Amap ו־Xiaohongshu. אין לו שום התאמה לממשקים בעברית, כך שסביר להניח שהוא יתקשה בזיהוי טקסט מקומי או בכיווניות מימין לשמאל. בנוסף, במבחני שליטה מורכבים באנדרואיד כמו Android Control-High, הדיוק המלא שלו עומד על 69.17%, מה שאומר שאחת מכל שלוש משימות מורכבות עלולה להיכשל. המבנה שלו מחייב גם שרשור רציף של צילומי מסך, מה שמעמיס מהר מאוד על הזיכרון הגרפי.

איך מריצים

כדי להריץ אותו מקומית בתצורת bfloat16 מלאה תצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון, במיוחד אם רוצים לנצל את חלון ההקשר שתומך בעד 32,768 טוקנים וצילומי מסך מרובים. אפשר להרים אותו ישירות דרך vLLM עם הדגל trust-remote-code, וכדי לחסוך בזיכרון מומלץ להגביל את אורך ההקשר ל־2048 טוקנים כפי שמציעים המפתחים.

אם אין לכם חומרת שרת ייעודית, ההרצה העצמית תהיה איטית מדי עבור סוכן שצריך להגיב בזמן אמת לפעולות משתמש. במקרים שבהם נדרש רק זיהוי מסך נקודתי ולא שליטה מתמשכת, עדיף להשתמש במודל גדול יותר דרך API מסחרי.

pip install -U huggingface_hub
hf download openbmb/AgentCPM-GUI

הקבצים

24 קבצים במאגר, 15.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.3 GB
• model-00004-of-00004.safetensors2.1 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json66.8 KB
• modeling_navit_siglip.py41.8 KB
• resampler.py34.7 KB
• image_processing_minicpmv.py16.6 KB
• README.md15.9 KB
• modeling_minicpmv.py15.7 KB
• processing_minicpmv.py10.0 KB
• tokenizer_config.json9.8 KB
• configuration_minicpm.py3.3 KB
• tokenization_minicpmv_fast.py1.7 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• added_tokens.json902 B
• preprocessor_config.json714 B
• special_tokens_map.json625 B
• processor_config.json127 B
• generation_config.json121 B

הרישיון

הקוד והמודל שוחררו תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של המשקלים והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי. אפשר לשלב אותו במוצרים פנימיים או מסחריים בלי לשלם תמלוגים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗