GPT
הוספת כלי
A

AutoGLM-Phone-9B-Multilingual

קוד פתוח

zai-orgmit2025-12-09

  • transformers
  • safetensors
  • glm4v
  • image-text-to-text
  • agent

מודל ראייה ושפה שנועד לשלוט בטלפון נייד דרך ממשק פקודות. הוא מפענח צילומי מסך של יישומים ומייצר פעולות אוטומטיות לפי הוראות טקסטואליות פשוטות.

  • 934400פרמטרים
  • 65,536טוקנים בהקשר
  • 19.2 GBמשקל הקבצים
  • 527הורדות בחודש

מה זה

מדובר במודל מבוסס ראייה שפותח במטרה ספציפית, הפעלת סמארטפון באופן עצמאי. הוא מקבל הוראה מילולית לצד צילום מסך, מבין את הממשק הגרפי ומתכנן רצף פעולות לביצוע המשימה. השליטה במכשיר נעשית דרך ADB, כך שהוא יכול לעבוד עם מכשירי אנדרואיד מחוברים בכבל או ברשת.

בניגוד למודלי ראייה כלליים שמסתפקים בתיאור תמונה, המודל הזה מחווט לתכנון פעולות על ממשקי משתמש ניידים. הארכיטקטורה שלו זהה לזו של מודלי חשיבה מסדרת GLM, והוא משלב מנגנון אישור לפעולות רגישות לצד עצירה להתערבות אדם כשצריך להזין קוד אימות או לבצע התחברות.

מתאים ל

  • אוטומציה לאפליקציות אנדרואיד

    שליטה בממשקי אפליקציות דרך ADB לפי פקודות טקסט, בלי צורך לכתוב תסריטי בדיקה ידניים.

  • בדיקות תוכנה וממשק משתמש

    ניווט אוטונומי במסכי טלפון לצורך זיהוי בעיות זרימה והדמיית משתמשים במערכות מובייל.

  • מחקר סוכנים אוטונומיים

    פיתוח ובחינה של מודלי ראייה שמבצעים החלטות ומנווטים בממשקים גרפיים מורכבים בזמן אמת.

איפה זה נופל

למרות המילה מולטילינגואל בשם, המודל מתועד עם תמיכה בשפה הסינית בלבד, והדוגמאות מתרכזות באפליקציות סיניות כמו שיאוהונגשו. אין שום תיעוד או הבטחה לתמיכה בעברית או בממשקים מקומיים.

בנוסף, הכרטיס מדגיש שהפרויקט מיועד למטרות מחקר וחינוך בלבד ומזהיר מגישה בלתי מורשית למערכות. אי אפשר להסתמך עליו כרגע כסוכן אוטונומי מלא, בייחוד במסכים מורכבים שדורשים הזדהות.

שאלות
נפוצות

האם המודל יכול לפעול על ממשקים בעברית?

התיעוד מציין שפה סינית בלבד, והוא אומן בעיקר על שירותים ואפליקציות מהשוק הסיני. ייתכן שהוא יזהה אלמנטים גרפיים אוניברסליים, אבל לא הייתי בונה עליו לפענוח טקסט עברי בממשק בלי בדיקה מעמיקה.

איך מחברים את המודל בפועל למכשיר טלפון?

החיבור מתבצע באמצעות פרוטוקול ADB, שמאפשר שליטה במכשירי אנדרואיד דרך כבל רשת, חיבור חוטי או אמולטור מקומי. המודל מנתח את צילום המסך שהתקבל ומתרגם את ההוראות לפקודות מגע והקלדה שנשלחות ישירות למכשיר.

איך מריצים

כדי להריץ אותו מקומית תצטרכו כרטיס מסך עם זיכרון ייעודי שיכול להכיל קבצים במשקל 19.2 גיגה בייט לצד חישובי ההקשר, כלומר כרטיס עם לפחות 24 גיגה בייט זיכרון וידאו. ההרצה מתבצעת בספריית transformers לפי הנחיות הפרויקט הפתוח של המפתחים.

אם אין לכם חומרה ייעודית כזו בענן או בעמדת העבודה, עדיף להמתין לממשקי API מנוהלים. מעבר לכוח העיבוד למודל עצמו, התשתית מחייבת חיבור ADB פעיל למכשיר אנדרואיד אמיתי או לאמולטור כדי לשלוח את הפקודות בפועל.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="zai-org/AutoGLM-Phone-9B-Multilingual")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 19.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מפורסם תחת רישיון MIT, מה שמתיר שימוש מסחרי, שינוי קוד והפצה חופשית ללא תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, היוצרים הוסיפו אזהרה שהפרויקט מיועד למחקר ולחינוך בלבד והפנו לתנאי שימוש נפרדים, כך שחובה לבדוק את המסמכים המשפטיים שלהם לפני שמשלבים אותו במוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗