Qwen3.5-35B-A3B-ultra-uncensored-heretic-GGUF

מה זה

מדובר בהמרה של דגם המקור שעברה תהליך הסרת צנזורה וסירובים בשיטות מניפולציה על משקולות השכבות. המבנה מבוסס על שילוב של מומחים דליל עם שלושים וחמישה מיליארד פרמטרים בסך הכל, כשבפועל רק שלושה מיליארד מופעלים בכל שלב. הדבר מעניק מהירות ריצה גבוהה בהשוואה לדגמים מלאים באותו סדר גודל, לצד חלון הקשר בסיסי של מאתיים שישים ושניים אלף טוקנים.

התוצאה של התהליך נמדדת בירידה חדה בסירובים, מארבעה מתוך מאה בלבד לעומת תשעים ואחד מתוך מאה במקור. לצד זה, מדד הסטייה נשמר על רמה נמוכה של 0.0411, מה שמעיד על שמירה כמעט מלאה של יכולות החשיבה והקוד של הדגם המקורי. במבחני שפה וידע כמו MMLU Pro הוא עומד על 85.3, ובמבחן תכנות כמו SWE bench Verified משיג 69.2, נתונים קרובים מאוד למודלים גדולים בהרבה.

מתאים ל

• ניתוח טקסט ותמונות ללא סירוב

  מתאים לסריקת מסמכים ותמונות בנושאים שמערכות אחרות נוטות לחסום בטעות.

• הרצה מקומית יעילה

  רק שלושה מיליארד פרמטרים פעילים, מה שנותן ביצועים של דגם בינוני בצריכת משאבים נמוכה.

• פתרון בעיות קוד ומסוף

  הדגם משיג תוצאות חזקות במבחני תכנות יחסית לגודל האקטיבי שלו.

איפה זה נופל

הסרת הצנזורה בוצעה בהתערבות ישירה במשקולות, ולמרות שמדד הסטייה נמוך, יש סיכוי לפגיעה מקומית בעקביות או נטייה להזיות בנושאים רגישים. בנוסף, יכולות הראייה דורשות ניהול של קובץ נוסף בנפרד, מה שמסבך את תהליך ההרצה בסביבות ייצור לעומת מודלים אחודים. במשימות תכנות מורכבות הוא מעט חלש יותר מהדגמים הענקיים בסדרה, למשל 40.5 במבחן Terminal Bench 2 לעומת 49.4 בדגם הגדול.

איך מריצים

אתם מורידים את אחד מקובצי הקיבוץ בפורמט הנבחר ומריצים אותו בכלים תואמים כמו llama.cpp, Ollama או LM Studio. אם המטרה היא ניתוח תמונות ולא רק טקסט, חובה להוריד ולהטעין במקביל גם את קובץ הראייה המתאים, שמגיע ברמת דיוק מלאה או חצי דיוק.

קובצי הקיבוץ נעים בין דיוק מלא לבין רמות דחיסה שונות, החל מאיכות גבוהה כמעט ללא איבוד מידע ועד גרסאות דחוסות לכרטיסים מוגבלים בזיכרון. למשימות שדורשות תפוקה גדולה מאוד בלי צורך בחומרה מקומית חזקה, אפשר לשקול שימוש בשירותי הענן הרשמיים של עליבאבא, אבל שם המודל לא מגיע בגרסה הפתוחה הזו.

ollama run hf.co/llmfan46/Qwen3.5-35B-A3B-ultra-uncensored-heretic-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

12 קבצים במאגר, 220 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen3.5-35B-A3B-heretic-v2-BF16.gguf69.4 GB
• Qwen3.5-35B-A3B-heretic-v2-Q8_0.gguf36.9 GB
• Qwen3.5-35B-A3B-heretic-v2-Q6_K.gguf28.5 GB
• Qwen3.5-35B-A3B-heretic-v2-Q5_K_M.gguf24.8 GB
• Qwen3.5-35B-A3B-heretic-v2-Q5_K_S.gguf24.0 GB
• Qwen3.5-35B-A3B-heretic-v2-Q4_K_M.gguf21.2 GB
• Qwen3.5-35B-A3B-heretic-v2-Q4_K_S.gguf19.9 GB
• Qwen3.5-35B-A3B-heretic-v2-IQ2_XXS.gguf9.3 GB
• Qwen3.5-35B-A3B-mmproj-F32.gguf1.8 GB
• Qwen3.5-35B-A3B-mmproj-BF16.gguf902.8 MB
• README.md97.8 KB
• .gitattributes2.9 KB

הרישיון

הרישיון המדווח הוא Apache 2.0. הוא מאפשר שימוש חופשי, שינוי קוד, הפצה ושימוש מסחרי מלא במוצרים שלכם. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי בקוד או בתוכנה שמפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗