nvidia/Qwen3.6-27B-NVFP4

מה זה

מדובר בגרסת קוונטיזציה של מודל המקור של עליבאבא, שהומרה לפורמט NVFP4 באמצעות כלי האופטימיזציה של אנבידיה. המודל שומר על ארכיטקטורה היברידית של תשומת לב ומסוגל לקבל קלטי טקסט לצד תמונות וסרטוני וידאו, כשהפלט שלו נשאר טקסטואלי בלבד. התהליך הזה צמצם את משקל המשקלים והאקטיבציות בערך פי 2.5 בהשוואה לגרסאות 16 ביט רגילות.

בדיקות הביצועים של אנבידיה מראות שהכיווץ כמעט לא פגע ביכולות ביחס לגרסת FP8. במבחן הידע האקדמי MMLU Pro הוא קיבל 86.3 לעומת 86.1, במבחן המדע המתקדם GPQA Diamond הציון עומד על 85.5 לעומת 86.0, ובפתרון בעיות מתמטיקה ב־AIME 2025 הוא רושם 92.7 מול 93.1. במילים פשוטות, הדחיסה ל־4 ביט מצליחה לשמר את יכולות הניתוח, הקוד והחשיבה כמעט במלואן.

מתאים ל

• ניתוח תכני וידאו ותמונה

  הוא מטפל ישירות בקובצי וידאו לצד טקסט, ומאפשר תחקור קלט מולטימודלי ללא פירוק מוקדם לתמונות בודדות.

• סוכנים אוטונומיים לתמיכה

  עם ציון של 95.4 במדד השימוש בכלים של טלקום, הוא מתאים להפעלת ממשקי שירות שמבצעים פעולות מוגדרות מראש.

• מערכות מענה מבוססות הקשר

  חלון עבודה של 262 אלף טוקנים מאפשר לטעון תיעוד נרחב לצורך שאלות ותשובות תחת שרתי Blackwell ו־Hopper.

איפה זה נופל

הנתונים מעידים על קושי מובהק במשימות מורכבות במיוחד. במבחן המומחים Humanity's Last Exam המודל קיבל ציון נמוך של 21.8 בלבד, ובמבחן הקוד המדעי SciCode הוא הגיע ל־44.5. בנוסף, יכולת השליפה שלו מהקשרים ארוכים עומדת על 68.3 במדד AA-LCR, נתון שמחייב זהירות גדולה לפני שבונים עליו מנגנוני RAG ארוכי טווח.

דף המודל מציין גם שהאימון הראשוני של מודל הבסיס נשען על מידע שנאסף מהרשת ללא סינון מלא של הטיות, ולכן הוא עלול לייצר תשובות לא מדויקות, פוגעניות או להחסיר פרטים קריטיים גם כשלא הוכנסה הנחיה בעייתית.

איך מריצים

המודל דורש תשתית מודרנית מאוד כדי לפעול. אנבידיה תומכת בו בסביבת vLLM ורק על גבי כרטיסים בארכיטקטורת Hopper או Blackwell, כאשר בדיקות החומרה שלהם נעשו על שרתי GB300. מי שמחזיק כרטיסים ישנים יותר פשוט לא יוכל לנצל את התמיכה של NVFP4.

ההרצה המקומית מתבצעת ישירות דרך קונטיינר לינוקס רשמי של vLLM עם ארגומנטים שמגדירים מנוע ModelOpt ואורך הקשר מלא. אם אין לכם גישה ישירה לשרתי ענן עם מעבדי הדור החדש של אנבידיה, אין טעם להוריד את הקבצים, ועדיף להסתמך על נקודת קצה מנוהלת שמציעה את המודל המקורי.

pip install -U huggingface_hub
hf download nvidia/Qwen3.6-27B-NVFP4

הקבצים

17 קבצים במאגר, 20.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors10.0 GB
• model-00001-of-00003.safetensors10.0 GB
• model-00003-of-00003.safetensors2.0 GB
• tokenizer.json12.8 MB
• vocab.json6.7 MB
• model.safetensors.index.json214.9 KB
• config.json88.6 KB
• hf_quant_config.json54.9 KB
• tokenizer_config.json16.7 KB
• README.md9.3 KB
• chat_template.jinja7.8 KB
• .gitattributes1.6 KB
• processor_config.json1.2 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B
• generation_config.json202 B
• configuration.json51 B

הרישיון

המודל מופץ תחת רישיון apache-2.0 מלא. הרישיון הזה מתיר שימוש חופשי ליישומים מסחריים ופרטיים כאחד, ומאפשר שינוי של הקוד והמשקלים ללא תשלום תמלוגים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית בהפצה של המוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗