GLM-4.6V-Flash

מה זה

המודל הזה לוקח משימות ויזואליות ומחבר אותן ישר לקוד. בניגוד למודלים שמסתפקים בתיאור תמונה, הוא נבנה להפעיל כלים ופונקציות ישירות מתוך צילומי מסך, תרשימים ודפי מסמכים, בלי להמיר אותם לטקסט קודם. הוא גם יודע לייצר שילוב של טקסט ותמונות, ולבנות קוד של אתרים מתוך צילום ממשק בלבד.

היתרון הגדול מול חלופות באותו סדר גודל הוא השילוב בין נפח קטן יחסית לחלון הקשר עצום של 128 אלף טוקנים. זה אומר שאפשר לזרוק אליו ספרים סרוקים, חוזים ארוכים ומצגות עמוסות גרפים, והוא ינתח את המבנה והעיצוב שלהם יחד עם הטקסט.

מתאים ל

• המרת עיצובים לקוד

  שחזור של שלדי אתרים ב־HTML ו־CSS ישירות מצילומי מסך של ממשק משתמש.

• סוכני פעולה ויזואליים

  הפעלת פונקציות וכלים אוטומטיים שמקבלים צילומי מסך או תרשימים כקלט ישיר.

• ניתוח מסמכים מורכבים

  עיבוד עשרות עמודים סרוקים שמכילים טבלאות, גרפים וטקסט בלי להפריד ביניהם.

איפה זה נופל

המפתחים מודים בעצמם שהמודל מתקשה במענה על שאלות טקסט טהורות שלא כוללות תמונה, כי כל המאמץ הלך לראייה. בנוסף, יש לו נטייה לחשוב יותר מדי, לחזור על עצמו או לחזור על התשובה שוב בסוף הפלט. הוא גם עדיין מועד בספירה מדויקת של פריטים בתמונה ובזיהוי של אנשים ספציפיים. שימו לב גם שהוא אומן על אנגלית וסינית בלבד, כך שלא כדאי לבנות עליו לפענוח מסמכים בעברית.

איך מריצים

המשקל הכולל של הקבצים עומד על כמעט עשרים ג׳יגה בייט, כך שכדי להריץ אותו עצמאית תצטרכו כרטיס מסך מודרני עם לפחות עשרים וארבעה ג׳יגה בייט זיכרון גרפי, כמו כרטיס מהסדרה המקצועית או סדרה ארבעים העליונה. המפתחים תומכים בהרצה ישירה דרך vLLM או SGLang, שמתאים במיוחד לעיבוד וידאו, לצד ספריית transformers.

בסדרה הזו יש גם גרסה ענקית של מאה ושישה מיליארד פרמטרים שיושבת בענן. אם השרת המקומי שלכם חלש מדי להחזיק משקל כזה בזיכרון בזמן עומס, או שאתם לא רוצים לנהל תשתית יקרה בשביל כמה קריאות בודדות, עדיף להשתמש בגישת ה־API שהם מציעים.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="zai-org/GLM-4.6V-Flash")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 19.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00004.safetensors5.3 GB
• model-00002-of-00004.safetensors5.3 GB
• model-00003-of-00004.safetensors5.3 GB
• model-00004-of-00004.safetensors4.7 GB
• tokenizer.json20.0 MB
• model.safetensors.index.json66.4 KB
• README.md8.4 KB
• tokenizer_config.json7.3 KB
• chat_template.jinja4.6 KB
• config.json1.6 KB
• .gitattributes1.6 KB
• video_preprocessor_config.json369 B
• preprocessor_config.json367 B
• generation_config.json239 B

הרישיון

המודל מופץ תחת רישיון MIT. זה הרישיון הכי חופשי שיש, ואפשר להשתמש בו לפרויקטים מסחריים, לשנות את המשקלים, לשלב אותו במוצר פנימי או למכור שירות סביבו, כמעט בלי תנאים למעט שמירת קרדיט והצהרת אחריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗