Qwen3.5-9B-OptiQ-4bit

מה זה

המודל הזה לוקח את הדגם הבסיסי של תשעה מיליארד פרמטרים ומכווץ אותו לעבודה מקומית עם ספריית MLX. במקום לחתוך את כל השכבות לארבעה ביטים בצורה אחידה, המפתחים בדקו רגישות והשאירו 132 שכבות קריטיות בשמונה ביטים, בזמן ש־116 השכבות העמידות יותר ירדו לארבעה ביטים. הוא כולל גם ראש חיזוי מובנה שמאיץ את ייצור הטוקנים בערך פי 1.4 בהרצה תואמת.

במבחני הביצועים הוא מציג יתרון קל על פני כיבוץ אחיד רגיל, במיוחד בכתיבת קוד עם זינוק של 2.4 נקודות ב־HumanEval. מנגד, השיפור הכללי זעיר, פחות מרבע נקודה בממוצע ששת המבחנים. קריאות לפונקציות ושליפת מידע מהקשר ארוך אפילו חטפו פגיעה של אחוז שלם לעומת הכיבוץ הרגיל, כך שלא מדובר בהתעלות גורפת בכל תחום.

מתאים ל

• השלמת קוד מקומית במק

  הוא מציג קפיצה ל־81.1 אחוז ב־HumanEval ורץ מקומית בלי חיבור לרשת על מחשב נייד.

• שרת צ'אט אישי מהיר

  ראש החיזוי המובנה מאפשר האצה של פי 1.4 בקצב הפליטה בעזרת כלי ההרצה הייעודי.

• פיתוח סוכנים מבודד

  חבילת ההרצה שלו כוללת תמיכה בהרצת פייתון בסביבה סגורה למשימות סוכנים אוטונומיים.

איפה זה נופל

הנקודה החלשה ביותר בגרסה הזו היא שליפת מידע מתוך הקשר ארוך. למרות חלון הקשר עצום של 262,144 טוקנים, במבחן HashHop הוא השיג ציון נמוך במיוחד של 25 אחוז בלבד, שזה אפילו פחות מגרסת הכיבוץ הרגילה. גם בתחום של הפעלת כלים וקריאות לפונקציות הוא רשם נסיגה קלה ל־91 אחוז. בנוסף, משקל הקובץ בדיסק עלה ביותר מגיגה בייט לעומת גרסת ארבעה ביטים רגילה כדי לקבל הפרש ביצועים כולל שכמעט ולא מורגש ברוב המשימות.

איך מריצים

כדי להריץ אותו צריך מק עם שבב אפל וספריית mlx-lm או mlx-optiq בפייתון. הקבצים שוקלים 7.7 גיגה בייט, ובפועל המודל תופס קצת מעל שישה גיגה זיכרון פנימי, כך שמחשב עם 16 גיגה זיכרון מאוחד יריץ אותו בקלות לצד מערכת ההפעלה.

אם אין לכם חומרה של אפל, המודל הזה פשוט לא בשבילכם כי הוא תלוי לחלוטין בארכיטקטורה של MLX. במקרה שאתם בונים שירות שדורש שרתים מרוחקים של לינוקס או מעבדי אנבידיה, עדיף לפנות לגרסאות בפורמטים אחרים או להשתמש בחיבור ישיר למודל בענן.

pip install -U huggingface_hub
hf download mlx-community/Qwen3.5-9B-OptiQ-4bit

הקבצים

14 קבצים במאגר, 7.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.3 GB
• model-00002-of-00002.safetensors1.8 GB
• optiq/optiq_vision.safetensors912.1 MB
• optiq/mtp.safetensors185.1 MB
• tokenizer.json20.0 MB
• model.safetensors.index.json117.9 KB
• config.json55.7 KB
• optiq_metadata.json26.2 KB
• chat_template.jinja7.8 KB
• README.md5.1 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.1 KB
• kv_config.json528 B
• generation_config.json148 B

הרישיון

הרישיון הוא Apache 2.0 מלא שעובר מהמודל המקורי. אפשר להשתמש בו חופשי למוצרים מסחריים, לשנות את הקוד, לפרסם גרסאות משלכם ולהפיץ אותו בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗