GLM-4.5-Air-GGUF

מה זה

מדובר במודל שמכוון ישירות לעבודה עם סוכנים חכמים, כתיבת קוד ופתרון בעיות מורכבות. המבנה שלו מבוסס על 106 מיליארד פרמטרים בסך הכול, אך בכל מעבר מופעלים רק 12 מיליארד, מה שמאפשר מהירות תגובה גבוהה ביחס לגודל המלא. הוא כולל שני מצבי עבודה מובנים, מצב חשיבה מעמיק שמיועד להפעלת כלים ולהסקה לוגית שלב אחר שלב, ומצב מהיר ללא חשיבה שמתאים למענה ישיר.

לפי המבחנים של היוצרים שפורסמו בכרטיס, הוא השיג ציון של 59.8 בבדיקה רוחבית של 12 מבחני ביצועים מובילים בתעשייה. התוצאה הזו מציבה אותו קרוב למודל האב הגדול שלו שהגיע לציון 63.2. בפועל זה אומר שמקבלים ביצועי חשיבה תחרותיים מאוד מול מודלים קנייניים, תוך חיסכון משמעותי במשאבי החישוב הנדרשים בזמן הריצה בזכות מנגנון הניתוב של המומחים.

מתאים ל

• סוכני אוטונומיה וכלים

  מצב החשיבה המובנה והתמיכה בכלים מאפשרים לו לתכנן משימות מורכבות ולהפעיל פונקציות ברצף ללא תיווך ידני.

• פיתוח וניתוח קוד

  הארכיטקטורה אומנה מראש למשימות תכנות הדורשות שרשור לוגי ארוך לצד מהירות תגובה של מודל קומפקטי.

• מענה היברידי באנגלית

  שילוב המצבים מאפשר לעבור בין שליפה מהירה של תשובות לבין ניתוח עמוק לפי סוג השאילתה במערכת.

איפה זה נופל

המודל אומן והוגדר רשמית רק עבור אנגלית וסינית. הוא לא מיועד לעברית, ואין שום תיעוד שתומך בביצועים סבירים בשפה זו. בנוסף, מודל כזה דורש בדיקה מעמיקה של יציבות הפעלת הכלים ומנגנוני הפירסור של הנימוקים לפני שילובו במוצר, שכן שגיאה קטנה במעבר בין מצב חשיבה למצב רגיל עלולה לשבור את זרימת העבודה של הסוכן.

איך מריצים

המשקל הכולל של הקבצים במאגר מגיע ל־1.8 טרה־בייט ב־55 קבצים שונים, שמכילים מגוון דרגות קוונטיזציה בפורמט GGUF של Unsloth. כדי להריץ את המודל דרך llama.cpp חובה להשתמש בדגל jinja כדי לתמוך בתבנית השיחה המעודכנת. תצטרכו שרת עם זיכרון משמעותי כדי להחזיק מודל של 106 מיליארד פרמטרים, גם אם מופעלים רק חלקם בכל טוקן.

אם אין לכם שרת ייעודי מרובה כרטיסים גרפיים או זיכרון מערכת עצום, עדיף לפנות ל־API שמציעות Z.ai או Zhipu AI. הרצה עצמית כאן דורשת תשתית פיזית כבדה, ופנייה לשירות ענן מוכן תחסוך את עלויות החומרה והתחזוקה המסובכת של ארכיטקטורה כזו.

ollama run hf.co/unsloth/GLM-4.5-Air-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

55 קבצים במאגר, 1.8 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Q4_K_M/GLM-4.5-Air-Q4_K_M-00001-of-00002.gguf50.0 GB
• IQ4_NL/GLM-4.5-Air-IQ4_NL-00001-of-00002.gguf50.0 GB
• UD-Q8_K_XL/GLM-4.5-Air-UD-Q8_K_XL-00002-of-00003.gguf50.0 GB
• Q3_K_M/GLM-4.5-Air-Q3_K_M-00001-of-00002.gguf50.0 GB
• Q5_K_S/GLM-4.5-Air-Q5_K_S-00001-of-00002.gguf49.9 GB
• UD-Q3_K_XL/GLM-4.5-Air-UD-Q3_K_XL-00001-of-00002.gguf49.9 GB
• UD-Q5_K_XL/GLM-4.5-Air-UD-Q5_K_XL-00001-of-00002.gguf49.9 GB
• Q5_K_M/GLM-4.5-Air-Q5_K_M-00001-of-00002.gguf49.9 GB
• IQ4_XS/GLM-4.5-Air-IQ4_XS-00001-of-00002.gguf49.9 GB
• Q4_K_S/GLM-4.5-Air-Q4_K_S-00001-of-00002.gguf49.9 GB
• Q3_K_S/GLM-4.5-Air-Q3_K_S-00001-of-00002.gguf49.8 GB
• BF16/GLM-4.5-Air-BF16-00001-of-00005.gguf49.8 GB
• UD-Q6_K_XL/GLM-4.5-Air-UD-Q6_K_XL-00001-of-00003.gguf49.8 GB
• BF16/GLM-4.5-Air-BF16-00002-of-00005.gguf49.8 GB
• BF16/GLM-4.5-Air-BF16-00004-of-00005.gguf49.8 GB
• Q8_0/GLM-4.5-Air-Q8_0-00001-of-00003.gguf49.8 GB
• Q8_0/GLM-4.5-Air-Q8_0-00002-of-00003.gguf49.8 GB
• UD-Q8_K_XL/GLM-4.5-Air-UD-Q8_K_XL-00001-of-00003.gguf49.8 GB
• UD-IQ3_XXS/GLM-4.5-Air-UD-IQ3_XXS-00001-of-00002.gguf49.7 GB
• Q4_0/GLM-4.5-Air-Q4_0-00001-of-00002.gguf49.7 GB
• Q6_K/GLM-4.5-Air-Q6_K-00001-of-00002.gguf49.7 GB
• Q4_1/GLM-4.5-Air-Q4_1-00001-of-00002.gguf49.6 GB
• UD-Q4_K_XL/GLM-4.5-Air-UD-Q4_K_XL-00001-of-00002.gguf49.6 GB
• UD-Q6_K_XL/GLM-4.5-Air-UD-Q6_K_XL-00002-of-00003.gguf49.5 GB
• Q6_K/GLM-4.5-Air-Q6_K-00002-of-00002.gguf49.3 GB
• BF16/GLM-4.5-Air-BF16-00003-of-00005.gguf48.6 GB
• GLM-4.5-Air-UD-Q2_K_XL.gguf47.4 GB
• GLM-4.5-Air-Q2_K_L.gguf45.5 GB
• GLM-4.5-Air-Q2_K.gguf45.3 GB
• GLM-4.5-Air-UD-IQ2_M.gguf44.4 GB
• GLM-4.5-Air-UD-IQ2_XXS.gguf42.7 GB
• GLM-4.5-Air-UD-IQ1_M.gguf40.1 GB
• GLM-4.5-Air-UD-IQ1_S.gguf38.5 GB
• GLM-4.5-Air-UD-TQ1_0.gguf38.3 GB
• Q5_K_M/GLM-4.5-Air-Q5_K_M-00002-of-00002.gguf33.6 GB
• UD-Q5_K_XL/GLM-4.5-Air-UD-Q5_K_XL-00002-of-00002.gguf32.9 GB
• Q5_K_S/GLM-4.5-Air-Q5_K_S-00002-of-00002.gguf28.5 GB
• UD-Q8_K_XL/GLM-4.5-Air-UD-Q8_K_XL-00003-of-00003.gguf28.0 GB
• BF16/GLM-4.5-Air-BF16-00005-of-00005.gguf23.0 GB
• Q4_K_M/GLM-4.5-Air-Q4_K_M-00002-of-00002.gguf23.0 GB

הרישיון

המודל שוחרר תחת רישיון MIT. זהו רישיון פתוח ומתירני לחלוטין שמאפשר שימוש מסחרי, שינוי של המשקלים ופיתוח מוצרים נגזרים ללא תשלום תמלוגים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים המקורית והפטור מאחריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗