Huihui-ThinkingCap-Qwen3.6-27B-abliterated-NVFP4

מה זה

המשקל הזה לוקח את המודל הבסיסי ומחבר שלושה שינויים משמעותיים. הבסיס עבר אימון לקצר את תהליך החשיבה בכ־46 אחוז בהשוואה למודל המקורי, בלי לוותר על איכות ההסקה. בנוסף, הוסרו ממנו מנגנוני הסירוב המובנים, כך שהוא עונה ישירות על בקשות שבדרך כלל נחסמות. כל זה נארז בכימוס NVFP4 קל משקל.

הארכיטקטורה משלבת שכבות תשומת לב היברידיות לצד רכיב חזותי וראש פענוח ספקולטיבי שנשמרו ברמת דיוק מלאה של 16 ביט. השילוב הזה שומר על מהירות יצירה גבוהה במיוחד, כשהמודל מייצר פחות טוקנים של מחשבה פנימית ופולט את הפלט מהר יותר על החומרה המתאימה. הוא כולל תמיכה באנגלית, יפנית וסינית, לצד יכולות ראייה וקריאת תמונות מובנות.

מתאים ל

• חשיבה ללא צנזורה

  מענה על נושאים מורכבים או בדיקות אבטחה בלי להיתקל בסירובים אוטומטיים.

• הסקה מהירה מקומית

  קיצור שרשרת החשיבה ב־46 אחוז חוסך זמן ומאפשר לקבל תשובות מהירות על השרת.

• ניתוח מסמכים ותמונות

  עיבוד קלט חזותי וטקסטואלי יחד הודות לרכיב הראייה שנשמר בדיוק מלא.

איפה זה נופל

ביטול הסירובים משנה את התנהגות המודל ולפעמים גורם לו לפספס הוראות עדינות או לסטות מהקשר. בנוסף, חובה להגדיר תקציב פלט של 4,096 טוקנים לפחות. אם תגדירו מגבלת פלט קצרה מדי, המודל עלול לבזבז את כל המקום בתוך תגיות החשיבה ולהחזיר תשובה ריקה לחלוטין. הוא גם לא עבר התאמה ייעודית לעברית, ולכן השפות המרכזיות בו נשארות אנגלית, סינית ויפנית.

איך מריצים

כדי להריץ אותו צריך vLLM בגרסה 0.21 ומעלה ותמיכה בפורמט NVFP4. המודל שוקל כ־19.2 ג'יגה־בייט, וכדי לקבל ביצועים טובים וחלון הקשר גדול מומלץ לחלק אותו על פני לפחות שניים או ארבעה כרטיסי מסך באמצעות פרלליזם. רכיב ה־MTP המובנה כבר מוגדר בתוך הקבצים ומאפשר פענוח ספקולטיבי חלק בלי התאמות מיוחדות.

אם אין לכם כרטיסי מסך ייעודיים עם תמיכה בארכיטקטורת FP4 של אנבידיה, עדיף לפנות ל־API חיצוני או להשתמש בגרסה בכימוס מסורתי יותר. הכימוס הזה דורש נתיבי ביצוע ספציפיים וכרטיסים שלא תומכים בפורמט פשוט ייכשלו בטעינה או יזחלו בביצועים.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="sakamakismile/Huihui-ThinkingCap-Qwen3.6-27B-abliterated-NVFP4")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 19.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors19.7 GB
• model-mtp-bf16.safetensors849.4 MB
• tokenizer.json20.0 MB
• vocab.json6.7 MB
• merges.txt3.4 MB
• model.safetensors.index.json238.1 KB
• config.json10.4 KB
• chat_template.jinja7.8 KB
• README.md5.2 KB
• .gitattributes1.6 KB
• processor_config.json1.2 KB
• tokenizer_config.json1.2 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B
• recipe.yaml218 B
• generation_config.json213 B

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0 שמאפשר שימוש מסחרי מלא, שינוי קוד והפצה מחדש. אין כאן הגבלות מיוחדות מעבר לשמירה על הצהרת זכויות היוצרים של היוצרים המקוריים, כך שאפשר לשלב אותו במוצרים פנימיים או מסחריים בלי לחשוף את הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗