Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4

מה זה

הבסיס מגיע מתוך סדרת Qwen של עליבאבא ועבר הסרת מגבלות סירוב, כך שהוא אמור לענות לכל בקשה בלי לחסום. המפתחים השתמשו בכיול NVFP4 תוך שמירה על שכבות הראייה ושכבות הלינאריות בפורמט BF16 מלא, מה שמבטיח יכולת עיבוד של טקסט ותמונות בלי איבוד יכולות הראייה.

בגודל הזה של 19 מיליארד פרמטרים, המעבר לפורמט הדחוס חתך את המשקל מ־51 גיגה ל־26 גיגה, עם מרחק KL צפוי של מתחת ל־0.001 לעומת מקור ה־BF16. זה אומר שהפגיעה באיכות המקורית אפסית, תוך שמירה על חלון הקשר עצום של 262,144 טוקנים ויכולת קריאת תמונות וסרטונים.

מתאים ל

• הרצת סוכנים וכלי קוד

  מגיע לקצב של 91 טוקנים לשנייה בבחירה דטרמיניסטית וכולל תמיכה מובנית בחלוקת קריאות לכלי קוד.

• עיבוד מסמכים ותמונות

  מנתח טקסטים ארוכים במיוחד של 256K טוקנים לצד קלט חזותי מלא בלי ששכבות התמונה עברו כיווץ הרסני.

• יצירת תוכן ללא חסימות

  עונה ללא התנגדות מובנית ומתאים למחקר או תסריטים שבהם מודלים מסחריים רגילים נוטים לסרב.

איפה זה נופל

הכרטיס מדגיש ששיעור הסירוב ירד לאפס במקור, אבל מציין מפורשות שצריך לאמת את זה מחדש אחרי הפריסה של הגרסה המכווצת. חוץ מזה, בהרצה על מחשבי Spark עם זיכרון משותף, אסור להעלות את ניצול הזיכרון מעל 0.7 כדי לא להפיל את המערכת, וההאצה הדרמטית של מודל הדגימה מתרסקת אם מייצרים טקסט עם טמפרטורה שמעל 0.7.

איך מריצים

המודל הזה נבנה ספציפית למאיצי הדור החדש של אנבידיה בארכיטקטורת בלקוול, כמו DGX Spark או כרטיסי B100 ו־B200, שמסוגלים לחשב FP4 באופן מובנה בחומרה. מריצים אותו דרך קונטיינר ייעודי של vLLM, שם הוא מגיע לכ־91 טוקנים לשנייה בדגימת greedy בעזרת מאיץ דגימה DFlash, לעומת כ־38 טוקנים לשנייה בדגימה יצירתית חמה יותר.

אם אתם על A100 או H100, אל תורידו את הגרסה הזאת. הדורות האלה לא תומכים בהאצת FP4 בחומרה אלא ממירים אותו חזרה בזמן אמת, ועדיף להריץ עליהם את גרסת ה־BF16 המלאה או להשתמש ב־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 25.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors27.7 GB
• tokenizer.json11.1 MB
• cartridge.jpg374.8 KB
• config.json24.8 KB
• README.md15.7 KB
• chat_template.jinja7.8 KB
• assets/perf/qwen27b_concurrency.svg4.9 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.2 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B
• recipe.yaml314 B
• generation_config.json213 B

הרישיון

המודל מופץ תחת רישיון Apache 2.0 המקורי של Qwen, שמאפשר שימוש מסחרי, שינוי והפצה חופשית. למרות זאת, היוצרים הוסיפו תנאי שימוש נוקשים שמטילים עליכם אחריות משפטית מלאה על כל פלט, דורשים שכבת הגנה חיצונית, ומחייבים בוררות אישית במקרה של תביעה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗