Qwen3.8-27B-MTPLX-Optimized-Speed

מה זה

מדובר בהסבה של Qwen 3.8 בגודל 27B עבור ספריית mlx, שמכוונת להרצה מקומית מהירה על חומרת אפל. במקום כימוס אחיד שפוגע ביכולות התכנות, שילבו כאן דחיסה מעורבת. רוב הרשת יושבת ב־4 ביט, אבל חלקים רגישים כמו שכבות ה־MLP האחרונות וההטמעות נשארו ב־8 ביט, וראש החיזוי נשאר ב־16 ביט מלאים. זה מוריד את הסטייה מגרסת המקור לערך נמוך של 0.0220 במבחני קוד.

בבדיקות על שבב M5 Max, המודל פולט 58.7 טוקנים לשנייה במשימות פיתוח עם חשיבה בינונית, וצונח לאזור ה־35 טוקנים לשנייה כשהוא מייצר תשובות ארוכות מאוד בעומס חשיבה גבוה. מנגנון הניחוש קדימה נותן פה קצב עבודה גבוה בלי לפגוע בהתפלגות התוצאות, כי כל טוקן שנחזה מאומת מול הרשת המקורית לפני שהוא מאושר.

מתאים ל

• פיתוח עם סוכני קוד מקומיים

  חיבור ישיר לכלי עבודה ב־API מקומי, עם קצב פליטה מהיר במיוחד למשימות תכנות שוטפות.

• עבודה מבוססת הקשר ארוך

  תמיכה בחלון ענק של 262,144 טוקנים מאפשרת לטעון תיעוד נרחב וקבצי מקור שלמים לזיכרון.

• הרצה מקומית על מחשבי מק

  ניצול מלא של זיכרון מאוחד בנפח 32 גיגה ללא תלות ברשת או תשלום לפי טוקן.

איפה זה נופל

המהירות הגבוהה נשענת על מנגנון חיזוי שמאבד יעילות כשהתשובות הופכות למורכבות במיוחד. בתשובות ארוכות עם חשיבה עמוקה הקצב יורד לכמעט חצי, סביב 35 טוקנים לשנייה. בנוסף, כל אימות לוקח 50 עד 53 מילישניות, כך שאם אחוז קבלת הטוקנים יורד מעבר לעומק מסוים, היתרון של החיזוי המקדים מתקזז מול עלות הבדיקה החוזרת.

איך מריצים

כדי להריץ אותו צריך מק עם 32 גיגה זיכרון מאוחד לפחות, כי המודל עצמו תופס בשיא 23.6 גיגה בזיכרון. ההרצה נעשית דרך ספריית mtplx בפקודה קצרה בטרמינל שמרימה שרת מקומי בפורט 8000, או ישירות באפליקציית המק שלהם. השרת מתממשק ישירות לכלים כמו Cline או Claude Code בלי הגדרות מיוחדות.

אם אתם על מחשבי M1 או M2, היוצרים ממליצים דווקא על גרסת ה־FP16 ולא על הגרסה הזו. מי שאין לו מק עם מספיק זיכרון משותף יצטרך לפנות ל־API בענן, כי על חומרת פיסי רגילה או כרטיסי אנבידיה אין למשקלים האלה בפורמט mlx שום שימוש.

pip install -U huggingface_hub
hf download Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed

הקבצים

18 קבצים במאגר, 19.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.4 GB
• model-00001-of-00004.safetensors5.4 GB
• model-00002-of-00004.safetensors5.3 GB
• model-00004-of-00004.safetensors3.5 GB
• model-vision.safetensors921.5 MB
• mtp.safetensors238.9 MB
• tokenizer.json20.0 MB
• model.safetensors.index.json206.9 KB
• config.json24.0 KB
• chat_template.jinja9.0 KB
• mtplx_runtime.json6.6 KB
• README.md3.6 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.2 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B
• processor_config.json367 B
• generation_config.json202 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש במוצרים סגורים. התנאי היחיד הוא שמירת הודעת הרישיון ומתן קרדיט ליוצרים המקוריים, בלי שום דרישה לחשוף את הפיתוחים שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗