Qwen3.6-35B-A3B-OptiQ-4bit

מה זה

המודל הזה מבוסס על ארכיטקטורת תערובת מומחים ומגיע בכיול מיוחד של ארבע ביט שפותח עבור מעבדי אפל. במקום לכווץ את כל השכבות באותה צורה, התהליך משאיר 392 שכבות רגישות ברמת שמונה ביט ומוריד 118 שכבות לארבע ביט. הכיול נעשה מול דוגמאות של קוד, חשיבה, כתיבה והפעלת פקודות.

במבחני הביצועים הוא מציג יתרון מובהק בשליפת מידע מהקשר ארוך ובקריאות לפונקציות, עם 92.5% במבחן BFCL לעומת גרסת ארבע ביט אחידה. בקוד הוא שומר על 91.5% הצלחה. מצד שני, הממוצע הכולל שלו גבוה יותר בעיקר בזכות השליפה, כי בידע כללי ובמתמטיקה הוא מפסיד מעט לגרסה הרגילה.

מתאים ל

• הפעלת כלים וסוכנים מקומיים

  הוא מגיע ל־92.5% במבחן BFCL לקריאות פונקציה, תוצאה גבוהה יותר מגרסאות כיווץ סטנדרטיות.

• יצירת קוד במחשבי מק

  ציון של 91.5% ב־HumanEval ומענה מהיר יחסית על מחשב אישי בלי תלות ברשת.

• שרת מקומי לתשובות מהירות

  שימוש ברכיב החיזוי המובנה מאפשר לקבל קצב ייצור טקסט מהיר פי 1.4 על חומרת אפל.

איפה זה נופל

למרות השמירה על שכבות ברמת דיוק גבוהה יותר, המודל מאבד נקודות במשימות חשיבה מתמטית וידע כללי לעומת כיווץ אחיד. במבחן GSM8K הוא יורד מ־89.4% ל־87.9%, וב־MMLU מ־84.6% ל־83.7%. בנוסף, במבחן HashHop לשליפת הקשר ארוך הוא מגיע ל־52% בלבד, שזה שיפור מול חלופות קטנות אבל עדיין רחוק מדיוק מלא. התוספת של שכבות שמונה ביט גם מגדילה את הקבצים בכשלושה גיגה בייט לעומת גרסת ארבע ביט רגילה.

איך מריצים

טוענים אותו ישירות בפייתון עם ספריית mlx-lm או מריצים שרת מקומי דרך חבילת mlx-optiq. החבילה הזו תומכת בראש חיזוי שמאיץ את ייצור הטקסט פי 1.4 עם שיעור קבלה של 70% בערך. קבצי המודל תופסים כ־23 גיגה בייט, כך שצריך מחשב מק עם לפחות 32 גיגה בייט זיכרון מאוחד כדי להחזיק את המשקלים ואת זיכרון ההקשר בלי לפגוע בביצועים.

אם אין לכם חומרה ייעודית של אפל עם מספיק זיכרון, עדיף להשתמש בנקודת קצה מרוחקת בענן. המודל בנוי ספציפית לטכנולוגיית MLX ולא ירוץ ישירות על כרטיסי מסך אחרים בלי המרה נפרדת.

pip install -U huggingface_hub
hf download mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit

הקבצים

17 קבצים במאגר, 23.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00005.safetensors5.4 GB
• model-00001-of-00005.safetensors5.4 GB
• model-00003-of-00005.safetensors5.2 GB
• model-00004-of-00005.safetensors5.2 GB
• optiq/mtp.safetensors1.6 GB
• model-00005-of-00005.safetensors979.9 MB
• optiq/optiq_vision.safetensors893.2 MB
• tokenizer.json20.0 MB
• model.safetensors.index.json206.8 KB
• config.json115.7 KB
• optiq_metadata.json56.0 KB
• chat_template.jinja7.8 KB
• README.md5.2 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.1 KB
• kv_config.json660 B
• generation_config.json248 B

הרישיון

הרישיון הוא Apache 2.0, שמועבר ישירות ממודל המקור. אפשר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗