AutoGLM-Phone-9B

מה זה

מדובר במודל ראייה ושפה שמנתח צילומי מסך של טלפונים ניידים ומחליט אילו פעולות ממשק לבצע כדי להשלים משימות שהמשתמש ביקש. במקום לפעול כבוט טקסטואלי רגיל, הוא רואה את כפתורי המסך, מבין את ההקשר החזותי של האפליקציה, ומתכנן שרשרת צעדים שמיושמת ישירות על המכשיר דרך חיבור דיבאג סטנדרטי של אנדרואיד.

הוא מבוסס על הארכיטקטורה של GLM-4.1V-9B-Thinking, כך שהתכנון שלו כולל שלבי חשיבה לפני ביצוע הפעולה. המפתחים בנו סביבו מנגנונים לאישור פעולות רגישות והעברת שליטה למשתמש ידני כשנתקלים במסכי התחברות או קודי אימות. ההתמקדות המקורית של הפרויקט היא באפליקציות סיניות כמו Xiaohongshu, וזה מגדיר את אופי האימון שלו ביחס למודלים רב-תכליתיים אחרים בגודל הזה.

מתאים ל

• אוטומציה לאפליקציות

  ניווט וביצוע פעולות בתוך אפליקציות אנדרואיד על ידי שליחת פקודות מגע דרך ADB.

• בדיקות ממשק משתמש

  ביצוע תרחישי שימוש מורכבים במובייל ללא צורך בכתיבת סקריפטים מותאמים לכל מסך.

• מחקר על סוכני ממשק

  בחינת יכולות הסקת מסקנות חזותיות ותכנון רב-שלבי על גבי מערכות הפעלה ניידות.

איפה זה נופל

השפה המוצהרת של המודל היא סינית בלבד, ולכן שימוש באפליקציות עם ממשק בעברית או באנגלית עלול להיכשל בזיהוי אלמנטים או בהבנת ההוראות. בנוסף, המפתחים מדגישים שהפרויקט מיועד למטרות מחקר וחינוך בלבד ומזהירים משימוש לא חוקי. כרטיס המודל לא מציג תוצאות מדידה מספריות או מדדי דיוק, ולכן חובה לבדוק אותו עצמאית מול כל אפליקציה שמייעדים לו לפני שבונים עליו תהליכי עבודה.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־19.2 גיגה-בייט, מה שאומר שתצטרכו כרטיס מסך מודרני עם לפחות 24 גיגה-בייט זיכרון כדי לטעון אותו ולהריץ הסקת מסקנות בצורה יציבה. הרצתו מתבצעת דרך ספריית transformers הרגילה, בהתאם להנחיות הפריסה של משפחת GLM-V.

כדי שהמודל יעבוד בפועל מול מכשיר, יש צורך לחבר טלפון אנדרואיד או אימולטור באמצעות ADB מקומי או מרוחק דרך הרשת. אם אין לכם חומרה ייעודית מתאימה או שאין לכם צורך בשליטה מלאה בצילומי המסך שנשלחים, עדיף להשתמש בפתרונות ענן שמציעים ממשקי API מוכנים למשימות סוכנים.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="zai-org/AutoGLM-Phone-9B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 19.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00005.safetensors5.0 GB
• model-00003-of-00005.safetensors4.9 GB
• model-00002-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.6 GB
• model-00005-of-00005.safetensors1.2 GB
• tokenizer.json20.0 MB
• model.safetensors.index.json66.4 KB
• tokenizer_config.json5.0 KB
• README.md2.9 KB
• config.json1.6 KB
• .gitattributes1.6 KB
• chat_template.jinja1.5 KB
• video_preprocessor_config.json863 B
• special_tokens_map.json760 B
• preprocessor_config.json364 B
• generation_config.json167 B

הרישיון

הרישיון המדווח בעמוד הוא MIT, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים ללא תשלום תמלוגים, בתנאי ששומרים על הצהרת זכויות היוצרים. יחד עם זאת, הטקסט מציג אזהרה שהפרויקט מיועד למחקר וחינוך ומפנה למדיניות שימוש ספציפית בגיטהאב, נקודה שכדאי לבדוק משפטית לפני הפצה מסחרית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗