NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

מה זה

מדובר במבנה היברידי שמשלב שכבות Mamba-2, מנגנוני Attention ותערובת מומחים. בזכות הניתוב הזה, המודל מחזיק 30 מיליארד פרמטרים על הנייר אבל מפעיל בפועל רק 3 מיליארד בכל שלב. הדבר חוסך משאבי חישוב ומאפשר להחזיק חלון הקשר של עד 1,048,576 טוקנים, נתון חריג למשקל כזה.

הקוונטיזציה כאן יושבת ישירות על NVFP4 בנפח קבצים של 20.1 גיגה בייט. במבחני ביצועים, הפורמט המכווץ שומר כמעט בדיוק על אותן יכולות של גרסת ה־BF16, למשל ציון 81.62 לעומת 81.94 ב־MMLU Pro, ו־52.80 מול 51.56 ב־SWE-bench Verified. זה מראה שהדחיסה לא פגעה ביכולת התכנות וההסקה, ונותנת תוצאות עבודה דומות במשקל קל בהרבה.

מתאים ל

• סוכני תכנות אוטונומיים

  תוצאה של 52.8 ב־SWE-bench Verified יחד עם הפעלה חסכונית של 3B פרמטרים מאפשרים ריצה ארוכה ברקע.

• ניתוח מסמכים ענקיים

  חלון של מיליון טוקנים מאפשר להעלות בסיסי ידע גדולים ישירות להקשר בלי לחתוך קבצים.

• שרתי שירות אינטראקטיביים

  תמיכה במנגנון DSpark ב־vLLM מגיעה ליותר מ־40 טוקנים לשנייה למשתמש תחת חומרת שרת בודדת.

איפה זה נופל

הנתונים חושפים חולשה משמעותית במשימות מורכבות מסוימות. במבחן HLE המודל מקבל ציון נמוך של 10.47, ובמדד בנקאות מבוסס כלים של tau-bench הוא נעצר על 9.48 בלבד. בנוסף, רשימת השפות כוללת אנגלית, ספרדית, צרפתית, גרמנית, איטלקית ויפנית. עברית אינה מופיעה ברשימת השפות הנתמכות בכרטיס, ולכן לא הייתי בונה עליו ליישום שדורש עיבוד טקסט מקומי בלי לבדוק קודם את איכות הפלט.

איך מריצים

אתם צריכים כרטיס בודד של H100, GB10, או GB200 כדי להריץ אותו דרך מנועים כמו vLLM או SGLang. על חומרות ללא תמיכה מובנית בחישובי FP4, כמו כרטיסי Hopper או Ampere דוגמת A100, הריצה מתבצעת דרך קרנלים מסוג W4A16. ניתן גם לעבוד מקומית דרך Ollama או llama.cpp, אך זיכרון הכרטיס יגביל את חלון ההקשר בפועל.

אם יש צורך בחלון המלא של מיליון טוקנים בעומס משתמשים גבוה, כדאי לשקול קריאה לשירות ענן מוכן או פריסה מרובת כרטיסים. הפעלה של חלון כזה מקומית תדרוש הקטנת אורך ההקשר כדי לפנות מקום לזיכרון המטמון.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4")
print(pipe("שלום"))

הקבצים

70 קבצים במאגר, 20.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00052-of-00052.safetensors3.6 GB
• model-00001-of-00052.safetensors743.4 MB
• model-00011-of-00052.safetensors731.1 MB
• model-00014-of-00052.safetensors731.1 MB
• model-00016-of-00052.safetensors731.1 MB
• model-00018-of-00052.safetensors731.1 MB
• model-00021-of-00052.safetensors731.1 MB
• model-00023-of-00052.safetensors731.1 MB
• model-00025-of-00052.safetensors731.1 MB
• model-00028-of-00052.safetensors731.1 MB
• model-00030-of-00052.safetensors731.1 MB
• model-00032-of-00052.safetensors731.1 MB
• model-00035-of-00052.safetensors731.1 MB
• model-00037-of-00052.safetensors731.1 MB
• model-00039-of-00052.safetensors731.1 MB
• model-00041-of-00052.safetensors731.1 MB
• model-00044-of-00052.safetensors731.1 MB
• model-00046-of-00052.safetensors731.1 MB
• model-00048-of-00052.safetensors731.1 MB
• model-00050-of-00052.safetensors731.1 MB
• model-00002-of-00052.safetensors731.1 MB
• model-00004-of-00052.safetensors731.1 MB
• model-00007-of-00052.safetensors731.1 MB
• model-00009-of-00052.safetensors731.1 MB
• model-00013-of-00052.safetensors46.8 MB
• model-00020-of-00052.safetensors46.8 MB
• model-00027-of-00052.safetensors46.8 MB
• model-00034-of-00052.safetensors46.8 MB
• model-00043-of-00052.safetensors46.8 MB
• model-00006-of-00052.safetensors46.8 MB
• model-00012-of-00052.safetensors38.8 MB
• model-00015-of-00052.safetensors38.8 MB
• model-00017-of-00052.safetensors38.8 MB
• model-00019-of-00052.safetensors38.8 MB
• model-00022-of-00052.safetensors38.8 MB
• model-00024-of-00052.safetensors38.8 MB
• model-00026-of-00052.safetensors38.8 MB
• model-00029-of-00052.safetensors38.8 MB
• model-00031-of-00052.safetensors38.8 MB
• model-00033-of-00052.safetensors38.8 MB

הרישיון

הפיתוח מופץ תחת רישיון OpenMDW-1.1, המסומן כ־other במאגר. הכרטיס מגדיר אותו כמיועד לשימוש מסחרי, אך היות שמדובר ברישיון ייעודי שאינו שייך לקבוצת רישיונות הקוד הפתוח המוכרים, חובה לקרוא את נוסח ההסכם באתר המיועד לפני הטמעה במוצר ייצורי.

הרישיון המלא בעמוד המודל ↗