GLM-4-32B-0414-GGUF

מה זה

המודל הזה אומן מראש על 15 טריליון טוקנים, שכללו דאטה סינתטי ממוקד חשיבה, ועבר התאמה לשיחה בעזרת משוב אנושי. היצרן שילב שיטות כמו דגימת דחייה ולמידת חיזוק כדי לחדד מענה להוראות, הפעלת פונקציות, יצירת ארטיפקטים וייצור קוד הנדסי. המטרה כאן היא לתת מענה לתשתיות סוכנים שדורשות חיבור לכלים חיצוניים וחיפוש מידע.

בכרטיס נטען כי במבחני ביצוע מסוימים של קוד ושאלות ותשובות, הוא מגיע לתוצאות שדומות למודלים ענקיים בהרבה כמו אלה של OpenAI או DeepSeek. בפועל, החוזק המרכזי שלו הוא מבנה קומפקטי שמכוון ליישומי פיתוח, כתיבת דוחות וממשקים גרפיים כמו קבצי SVG או סימולציות פיזיקליות בקוד, בלי להחזיק תשתית של מאות מיליארדי פרמטרים.

מתאים ל

• סוכנים מבוססי פונקציות

  אימון ייעודי בחיבור לכלים חיצוניים ושילוב תוצאות חיפוש בדוחות

• יצירת קוד ממשק וסימולציות

  הדגמות של כתיבת קוד להדמיות פיזיקליות, דפי HTML ואיורי SVG

• מערכות שאלות ותשובות RAG

  פורמט מובנה לקליטת מידע ממנועי חיפוש וניסוח מענה מבוסס מקורות

איפה זה נופל

המודל מוגדר רשמית רק עבור סינית ואנגלית. עבור משתמש ישראלי, המשמעות היא שאין תמיכה מובטחת בעברית, ולא כדאי להסתמך עליו לפרויקטים בשפה המקומית בלי לבדוק את זה קודם באופן יסודי.

בנוסף, הכרטיס מציג הצלחות מרשימות במשימות ויזואליות כמו קוד לסימולציות או עיצוב ממשקים, אבל הדיווחים מגיעים ישירות מהצוות שאימן את המודל. אין כאן פירוט של שיעורי כשל בהפעלת פונקציות, בעיות בהזיות או חריגות בתחביר, כך שחובה לבחון אותו מול מקרי קצה ספציפיים אצלכם.

איך מריצים

המשקל הכולל של הקבצים בתיקייה מגיע ל־495 גיגה־בייט הפרוסים על פני 33 קבצים, כך שצריך לבחור ולהוריד רק את קובץ ה־GGUF שמתאים למגבלות הזיכרון שלכם ולא את כל המאגר. אם אתם עובדים עם llama.cpp, יש הנחיה מפורשת להוסיף את הדגל jinja כדי שהפרומפט של המערכת יופעל בצורה תקינה.

דרישות החומרה נגזרות מגרסת הקוונטיזציה הספציפית שתורידו מתוך המאגר. אם אין לכם מאיץ גרפי עם מספיק זיכרון להחזיק מודל של 32 מיליארד פרמטרים וחלון של 32,768 טוקנים, תצטרכו להסתמך על שירות חיצוני שמספק גישה דרך API במקום לנסות לטעון אותו מקומית.

ollama run hf.co/unsloth/GLM-4-32B-0414-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

33 קבצים במאגר, 495 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• BF16/GLM-4-32B-0414-BF16-00001-of-00002.gguf49.5 GB
• GLM-4-32B-0414-UD-Q8_K_XL.gguf39.5 GB
• GLM-4-32B-0414-Q8_0.gguf34.6 GB
• GLM-4-32B-0414-UD-Q6_K_XL.gguf28.7 GB
• GLM-4-32B-0414-Q6_K.gguf26.7 GB
• GLM-4-32B-0414-UD-Q5_K_XL.gguf23.1 GB
• GLM-4-32B-0414-Q5_K_M.gguf23.1 GB
• GLM-4-32B-0414-Q5_K_S.gguf22.5 GB
• GLM-4-32B-0414-Q4_1.gguf20.6 GB
• GLM-4-32B-0414-UD-Q4_K_XL.gguf19.9 GB
• GLM-4-32B-0414-Q4_K_M.gguf19.7 GB
• GLM-4-32B-0414-Q4_K_S.gguf18.7 GB
• GLM-4-32B-0414-Q4_0.gguf18.6 GB
• GLM-4-32B-0414-IQ4_NL.gguf18.6 GB
• GLM-4-32B-0414-IQ4_XS.gguf17.6 GB
• GLM-4-32B-0414-UD-Q3_K_XL.gguf16.3 GB
• GLM-4-32B-0414-Q3_K_M.gguf15.9 GB
• BF16/GLM-4-32B-0414-BF16-00002-of-00002.gguf15.7 GB
• GLM-4-32B-0414-Q3_K_S.gguf14.4 GB
• GLM-4-32B-0414-UD-IQ3_XXS.gguf13.0 GB
• GLM-4-32B-0414-UD-Q2_K_XL.gguf12.8 GB
• GLM-4-32B-0414-Q2_K_L.gguf12.5 GB
• GLM-4-32B-0414-Q2_K.gguf12.3 GB
• GLM-4-32B-0414-UD-IQ2_M.gguf11.5 GB
• GLM-4-32B-0414-UD-IQ2_XXS.gguf9.3 GB
• GLM-4-32B-0414-UD-IQ1_M.gguf8.3 GB
• GLM-4-32B-0414-UD-IQ1_S.gguf7.7 GB
• imatrix_unsloth.dat13.1 MB
• README.md45.0 KB
• .gitattributes3.3 KB
• template1.0 KB
• config.json690 B
• params175 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקבצים והפצה מחודשת כחלק ממוצר, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗