Qwen3.6-35B-A3B-Uncensored-Heretic-MLX-4bit

מה זה

מדובר בהמרה לספריית MLX של מודל תערובת מומחים עם 35 מיליארד פרמטרים בסך הכול, שמפעיל בפועל רק כשלושה מיליארד בכל טוקן. המודל מקבל טקסט, תמונות ווידאו, ומכיל מנגנון חשיבה מובנה שאפשר לכבות ולהדליק לפי הצורך. הייחוד העיקרי כאן הוא הסרת הסינון שבוצעה באמצעות כלי בשם Heretic, תוך התחשבות בארכיטקטורה ההיברידית שמשלבת קשב ליניארי וקשב קלאסי ביחס של שלוש לאחת.

במקום למחוק סירובים בצורה עיוורת בכל השכבות, בוצעה כאן התאמת פרמטרים נפרדת לכל סוג קשב. התוצאה היא ירידה מ־83 סירובים ל־10 במבחן של מאה שאלות, עם מרחק KL של 0.0015 בלבד מול מודל המקור. ציוני MMLU כמעט לא זזו, מ־83.72 אחוז במקור ל־83.30 אחוז כאן, מה שאומר שהיכולות הכלליות לא נשחקו בתהליך. בנוסף, ההמרה הזו מתקנת 333 מפתחות פגומים בחלק של הראייה הממוחשבת ומסדרת את תבנית השיחה לריצה תקינה בסביבות C++.

מתאים ל

• ניתוח תמונות ווידאו ללא צנזורה

  תיקון מפתחות הראייה מאפשר ניתוח ויזואלי ישיר על מק מקומי, בלי סירובי מערכת גנריים על תוכן רגיש.

• פיתוח קוד עם חשיבה עמוקה

  הפעלת תגית החשיבה מייצרת תהליך פתרון מפורט למשימות תכנות, תוך שמירה על ביצועי מודל כמעט זהים למקור.

• הפעלת פונקציות בתוכנות C++

  תבנית השיחה המתוקנת מונעת קריסות בקריאות לכלים בסביבות כמו LM Studio ומאפשרת שימוש באוטומציות.

איפה זה נופל

החולשה העיקרית היא תלות נוקשה בהנחיית מערכת ספציפית. השורה הראשונה חייבת להיות הצהרה שהמודל הוא Qwen מבית עליבאבא קלאוד, אחרת הביצועים שלו מתדרדרים. במצב חשיבה ממושך נדרש להקצות לפחות 128 אלף טוקנים בזיכרון, מה שמכביד מאוד על החומרה. מעבר לכך, למרות הסרת הסירובים עדיין נמדדו 10 סירובים מתוך 100, כך שההסרה אינה מוחלטת.

איך מריצים

ההרצה נעשית ישירות דרך חבילות mlx-lm או mlx-vlm בפייתון, או בתוכנות כמו LM Studio על גבי מק. הקבצים שוקלים 19 גיגהבייט, וכדי להריץ אותם נדרש מחשב עם 24 גיגהבייט זיכרון אחוד לפחות. יש גם גרסאות 6 ביט ו־8 ביט לאותו מודל, שמציעות דיוק גבוה יותר אבל דורשות משמעותית יותר זיכרון.

אם אין לכם חומרת אפל סיליקון עם הזיכרון המתאים, אין מה לחפש כאן כי הפורמט הזה לא יעבוד על כרטיסי אנבידיה. במצב כזה עדיף לקרוא ל־API חיצוני או לחפש המרות GGUF של דגם המקור.

pip install -U huggingface_hub
hf download froggeric/Qwen3.6-35B-A3B-Uncensored-Heretic-MLX-4bit

הקבצים

16 קבצים במאגר, 19.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.4 GB
• model-00003-of-00004.safetensors5.4 GB
• model-00001-of-00004.safetensors5.3 GB
• model-00004-of-00004.safetensors4.4 GB
• tokenizer.json20.0 MB
• model.safetensors.index.json215.8 KB
• config.json23.6 KB
• tokenizer_config.json12.9 KB
• chat_template.jinja11.3 KB
• README.md10.9 KB
• chat_template.README.md6.2 KB
• .gitattributes1.6 KB
• processor_config.json1.2 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B
• generation_config.json226 B

הרישיון

הרישיון הוא Apache 2.0 המקורי. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו ולהפיץ אותו בחופשיות. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקוד או בתוכנה שאתם מפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗