GLM-4.7-Flash-4bit

מה זה

מדובר בהמרה בכימות של 4 ביט של מודל המבוסס על ארכיטקטורת תערובת מומחים, Glm4MoeLiteForCausalLM, עם כמעט 30 מיליארד פרמטרים ו־47 שכבות. הוא מכוון ספציפית ליצירת טקסט באנגלית ובסינית, ורץ דרך ספריית mlx ישירות על החומרה של אפל.

היתרון המרכזי כאן הוא חלון הקשר עצום של 202,752 טוקנים שנכנס לקבצים במשקל כולל של 15.7 ג'יגה בייט בלבד. ארכיטקטורת המומחים מפעילה רק חלק מהמשקלים בכל רגע נתון, כך שמקבלים יכולת התמודדות עם נפח נתונים של מודל גדול, אבל בדרישות זיכרון נמוכות בהרבה לעומת מודלים צפופים בגודל הזה.

מתאים ל

• עיבוד מסמכים ארוכים

  חלון של 202,752 טוקנים מאפשר לקרוא ספרים או קבצי קוד שלמים באנגלית ובסינית על המק.

• עבודה מקומית באנגלית

  הרצה מקומית דרך mlx ללא שליחת מידע רגיש לשירותי ענן חיצוניים.

• בניית שירותים מסחריים

  רישיון mit פוטר מסיבוכים משפטיים ומאפשר הטמעה חופשית בכל מערכת מסחרית.

איפה זה נופל

הכרטיס מציין תמיכה בשתי שפות בלבד, אנגלית וסינית. עברית לא רשומה כשפה נתמכת, כך שסביר להניח שהוא יגמגם, ימציא מילים או יסרב לענות בעברית תקינה בלי כוונון ייעודי. בנוסף, מדובר בכימות של 4 ביט למודל MoE, מה שמוריד מאיכות התשובות ומהדיוק בניואנסים לעומת משקלים מלאים. אם אתם בונים מוצר שדורש אמינות גבוהה או תמיכה מקומית בעברית, חובה לבדוק אותו ביסודיות לפני שסומכים עליו.

איך מריצים

כדי להריץ אותו מתקינים את ספריית mlx-lm וטוענים את המשקלים ישירות בקוד פייתון. המודל שוקל 15.7 ג'יגה בייט ב־12 קבצים, מה שאומר שאתם חייבים מחשב מק עם זיכרון מאוחד שיכול להחזיק את הקבצים האלה ועדיין להשאיר מקום לפעולת המערכת.

אם יש לכם מק עם מעט זיכרון, או שאתם מתכננים למלא את כל 202,752 הטוקנים של ההקשר, תצטרכו הרבה יותר מקום עבור זיכרון העבודה. במצב כזה, או אם אין לכם חומרת מק בכלל, עדיף לפנות ל־API חיצוני שמחזיק את המודל במקום להילחם עם החומרה המקומית.

pip install -U huggingface_hub
hf download mlx-community/GLM-4.7-Flash-4bit

הקבצים

12 קבצים במאגר, 15.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.4 GB
• model-00003-of-00004.safetensors5.4 GB
• model-00001-of-00004.safetensors5.4 GB
• model-00004-of-00004.safetensors768.1 MB
• tokenizer.json20.2 MB
• model.safetensors.index.json182.8 KB
• chat_template.jinja3.1 KB
• .gitattributes1.6 KB
• config.json1.4 KB
• tokenizer_config.json1.2 KB
• README.md865 B
• generation_config.json181 B

הרישיון

המודל מופץ תחת רישיון mit. זה הרישיון הכי מתירני שיש, ומותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו בקוד סגור, בלי דרישה לתמלוגים ועם חובה פשוטה לצרף את הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗