Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF

מה זה

מדובר במודל מולטימודלי של תמונה וטקסט שמבוסס על שרשרת התאמות, החל מזיקוק היגיון ועד להסרת מנגנוני הסירוב בטכניקת abliteration. היוצרים מצהירים בגלוי שמדובר במימוש גס שנועד להוות הוכחת היתכנות טכנית להסרת סירובים בלי שימוש ב־TransformerLens, ולא במוצר מהודק.

הוא מיועד לעבודה מקומית ומגיע כקבצי GGUF עם תמיכה ביצירת טקסט מואצת מסוג MTP. ההבדל בינו לבין מודלים רגילים בגודל הזה הוא היעדר מוחלט של מעצורים מובנים, מה שמאפשר לו לענות על שאילתות שמודלים אחרים חוסמים מיד, אך בלי מדדי ביצועים מסודרים בכרטיס המודל שמראים מה נפגע בדרך.

מתאים ל

• מחקר על הסרת סירובים

  ניתוח התנהגות מודל שעבר abliteration ללא TransformerLens והשוואתו למודל המקור.

• עיבוד טקסט ותמונה ללא חסימות

  ניתוח תכנים שנוטים להפעיל חסימות שווא במודלים מסחריים מוגנים מדי.

• ניסויי הסקה עם MTP מקומי

  בדיקת ביצועי הסקה מואצת באמצעות llama.cpp על חומרה מקומית חזקה.

איפה זה נופל

היוצרים מגדירים את המודל כהוכחת היתכנות גסה, ומזהירים מפורשות מפני שימוש בו בסביבות ייצור או מול משתמשי קצה. סינון הבטיחות הוסר כמעט לגמרי, כך שהוא עלול לפלוט תכנים פוגעניים, רגישים או בלתי הולמים ללא אזהרה. בנוסף, הסרת הסירובים בשיטות האלה עלולה לפגוע בעקביות התשובות וביכולת ההיגיון הכללית שלו, ולכן חובה לבדוק ידנית כל פלט אם שוקלים לשלב אותו בתהליך כלשהו.

איך מריצים

כדי להריץ אותו צריך לקמפל גרסה עדכנית של llama.cpp עם תמיכת CUDA ולהפעיל את קובץ ה־Q4_K המומלץ באמצעות llama-cli עם דגלי האצת MTP. המודל מחזיק חלון הקשר מוגדר של עד 262,144 טוקנים, מה שדורש כמויות זיכרון וידאו עצומות אם מנסים לנצל את מלוא ההקשר.

סך כל הקבצים במאגר שוקל 202 גיגה-בייט שמחולקים לעשרה קבצים. כדי להריץ אפילו את גרסת ה־4 ביט בצורה סבירה עם הקשר בינוני תצטרכו כרטיס עם לפחות 24 גיגה-בייט VRAM, ואם אתם לא צריכים ספציפית מודל נטול סירובים שרץ מקומית, עדיף בהרבה להשתמש ב־API מסחרי סטנדרטי.

ollama run hf.co/huihui-ai/Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF:Q6_K

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

10 קבצים במאגר, 202 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-ggml-model-f16.gguf71.1 GB
• Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-ggml-model-Q8_0.gguf37.8 GB
• Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-ggml-model-Q6_K.gguf29.2 GB
• Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-ggml-model-Q5_K.gguf25.3 GB
• Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-ggml-model-Q4_K.gguf21.7 GB
• Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-ggml-model-Q3_K.gguf17.2 GB
• Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-ggml-model-Q2_K.gguf13.2 GB
• mmproj-model-f16.gguf899.3 MB
• README.md3.2 KB
• .gitattributes2.3 KB

הרישיון

הרישיון המדווח הוא Apache 2.0, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי והפצה. עם זאת, היוצרים מצהירים שהם אינם נושאים באחריות לתוצאות השימוש, ומטילים את האחריות החוקית והאתית המלאה על מי שמריץ ומפיץ את הפלטים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗