Qwen3-30B-A3B-NVFP4

מה זה

מדובר בכיול של המודל Qwen3-30B-A3B שביצעה אנבידיה באמצעות כלי האופטימיזציה שלה, מתוך מטרה לחתוך את דרישות הזיכרון ונפח האחסון פי 3.3 בערך. הכיווץ נוגע למשקלים ולאקטיבציות של השכבות הלינאריות, מה שמאפשר לו להחזיק משקל קבצים צנוע של 16.9 גיגה בייט בלבד.

מבחני הביצועים מראים תמונה מעניינת בהשוואה למקור ב־BF16. בחלק מהמדדים, כמו מתמטיקה ב־MATH-500, הדיוק נשמר על 0.96, ובחלקם כמו LiveCodeBench ו־AIME 2024 התוצאות בגרסת ה־FP4 אפילו יצאו גבוהות יותר, מ־0.51 ל־0.65 ומ־0.75 ל־0.80. במבחני שאלות כלליות כמו MMLU Pro ו־GPQA יש ירידה זניחה מאוד, אך במבחן HLE המורכב המודל צונח מציון נמוך ממילא של 0.07 ל־0.05.

מתאים ל

• ייצור והשלמת קוד

  התוצאה במבחן LiveCodeBench עלתה ל־0.65 בגרסת ה־FP4, מה שהופך אותו למתאים במיוחד לכתיבת תוכנה.

• פתרון בעיות מתמטיקה

  הוא מציג ציון של 0.96 ב־MATH-500 וקפיצה ל־0.80 ב־AIME 2024 על גבי חומרה קומפקטית.

• עוזרי AI וסוכנים אוטונומיים

  צריכת הזיכרון הנמוכה שלו מאפשרת להריץ שיחות וסוכנים על גבי תשתית ייעודית בלי לחנוק את ה־VRAM.

איפה זה נופל

המגבלה המהותית ביותר היא תאימות החומרה הצרה שנשענת על מעבדי Blackwell בלבד, מה שמוציא מהתמונה את רוב התשתיות הקיימות. מעבר לזה, המודל מתרסק כמעט לגמרי במשימות היגיון קיצוניות, כפי שמשתקף בציון של 0.05 בלבד ב־HLE.

נתוני האימון והבדיקה המקוריים אינם גלויים, כך שאין שום מידע על התנהגות עם עברית או הטיות תרבותיות. הכיול נעשה על מאגר חדשות באנגלית, cnn_dailymail, ולכן נדרשת בדיקה יסודית אם מתכננים לעבוד מחוץ לתחומי הקוד והאנגלית.

איך מריצים

כדי להריץ אותו בפועל חייבים להשתמש בספריית TensorRT-LLM ובסביבת לינוקס, אך המלכוד העיקרי הוא המיקרו ארכיטקטורה הנתמכת. המודל דורש שבבי NVIDIA Blackwell, כך שהוא נבדק על כרטיסי B200 ואי אפשר סתם כך לטעון אותו על כרטיסי מסך צרכניים או דורות קודמים.

אם אין לכם גישה לשרת עם חומרת Blackwell, אין טעם לנסות להוריד את הקבצים. במצב כזה עדיף לחלוטין לצרוך את המודל המקורי דרך API של ספק ענן חיצוני ולא להסתבך עם התאמות סביבה מורכבות.

pip install -U huggingface_hub
hf download nvidia/Qwen3-30B-A3B-NVFP4

הקבצים

18 קבצים במאגר, 16.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00004-of-00004.safetensors3.1 GB
• tokenizer.json11.4 MB
• model.safetensors.index.json7.1 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• LICENSE11.6 KB
• README.md6.1 KB
• tokenizer_config.json5.4 KB
• chat_template.jinja4.2 KB
• config.json3.9 KB
• hf_quant_config.json2.2 KB
• .gitattributes1.6 KB
• added_tokens.json707 B
• special_tokens_map.json388 B
• generation_config.json214 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות אותו ולהפיץ אותו כחלק ממוצר, כל עוד מצרפים עותק של הרישיון ושומרים על הצהרות זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗