NVIDIA-Nemotron-3-Nano-30B-A3B-FP8

מה זה

מדובר במודל שפותח בידי NVIDIA ומערב 23 שכבות Mamba-2, עוד 23 שכבות של תערובת מומחים, ורק 6 שכבות תשומת לב מסורתיות. המבנה הזה מאפשר לו לעבד הקשר של עד מיליון טוקנים, כאשר ברירת המחדל עומדת על 262,144 טוקנים, בלי להעמיס את הזיכרון כמו מודלי שנאי רגילים.

הוא מתוכנן לענות בעזרת תהליך חשיבה פנימי שקודם לתשובה הסופית, אבל מאפשר לכבות את התכונה הזו בהגדרות התבנית כשצריך לחסוך זמן ומשאבים. המבחנים מראים שהקוונטיזציה לפורמט FP8 כמעט ולא פגעה בדיוק, עם ציון של 87.7 במבחן AIME25 ללא עזרים לעומת 89.1 בגרסת הדיוק המלאה. במשימות הפעלת כלים וסוכנים הוא מגיע לתוצאות סבירות, אבל בבדיקות תכנות כמו SciCode הוא נעצר באזור ה־31.9 אחוז בלבד.

מתאים ל

• סוכנים אוטונומיים

  חיבור למערכות קריאת כלים חיצוניות בזכות תמיכה מובנית בפורמט קריאות וזיכרון עבודה רחב.

• עיבוד מסמכים ענקיים

  ניתוח טקסטים ארוכים במיוחד של מאות אלפי טוקנים תוך ניצול יעילות הארכיטקטורה ההיברידית.

• פתרון בעיות מתמטיות

  דיוק גבוה מאוד במבחני AIME25 כאשר מאפשרים לו לייצר שרשרת חשיבה מלאה לפני התשובה.

איפה זה נופל

עברית אינה ברשימת השפות הנתמכות של המודל, שכוללת רק אנגלית, ספרדית, צרפתית, גרמנית, יפנית ואיטלקית. במבחני קידוד מדעי מורכבים כמו SciCode הוא השיג 31.9 בלבד, ובמבחן הבעיות הקשות HLE הוא נעצר סביב 10.3 אחוז ללא כלים חיצוניים. כיבוי מנגנון החשיבה הפנימית מוריד את הדיוק במשימות קשות, כך שלמשימות מהירות ללא חשיבה מוקדמת יש פשרה מורגשת בתוצאה.

אותה משפחה

NVIDIA-Nemotron-3-Nano יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־30.5 גיגהבייט. NVIDIA מציינת במפורש תמיכה בארכיטקטורות A100 ו־H100 עם 80 גיגהבייט זיכרון גרפי, תחת מערכת הפעלה Linux. כדי לשרת אותו בסביבת ייצור אפשר להשתמש ב־vLLM מגרסה 0.12.0 ומעלה, ב־SGLang או ב־TRT-LLM, תוך הפעלת FlashInfer ותמיכה ב־FP8.

אם אין לכם שרת ייעודי עם כרטיס של 80 גיגהבייט פנוי לפחות, עדיף להשתמש ב־API דרך NVIDIA Build ולא להסתבך עם התקנה מקומית, בעיקר בגלל הדרישות של זיכרון ה־KV בחלונות הקשר ארוכים.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8")
print(pipe("שלום"))

הקבצים

38 קבצים במאגר, 30.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00010.safetensors4.0 GB
• model-00003-of-00010.safetensors4.0 GB
• model-00004-of-00010.safetensors4.0 GB
• model-00005-of-00010.safetensors4.0 GB
• model-00006-of-00010.safetensors4.0 GB
• model-00002-of-00010.safetensors4.0 GB
• model-00007-of-00010.safetensors4.0 GB
• model-00008-of-00010.safetensors4.0 GB
• model-00009-of-00010.safetensors698.5 MB
• tokenizer.json17.1 MB
• model.safetensors.index.json1.9 MB
• model-00008-of-00010.json242.1 KB
• model-00004-of-00010.json236.9 KB
• model-00005-of-00010.json236.9 KB
• model-00006-of-00010.json236.9 KB
• model-00007-of-00010.json236.9 KB
• model-00003-of-00010.json236.8 KB
• model-00002-of-00010.json235.2 KB
• tokenizer_config.json188.0 KB
• model-00001-of-00010.json155.4 KB
• modeling_nemotron_h.py83.8 KB
• README.md73.4 KB
• model-00009-of-00010.json43.4 KB
• configuration_nemotron_h.py12.9 KB
• chat_template.jinja10.5 KB
• nemo-evaluator-launcher-configs/local_nvidia_nemotron_3_nano_30b_a3b.yaml4.2 KB
• hf_quant_config.json3.0 KB
• explainability.md3.0 KB
• privacy.md2.3 KB
• bias.md2.3 KB
• safety.md2.1 KB
• config.json1.8 KB
• .gitattributes1.6 KB
• nano_v3_reasoning_parser.py798 B
• special_tokens_map.json420 B
• generation_config.json197 B
• model-00010-of-00010.json73 B
• model-00010-of-00010.safetensors40 B

הרישיון

השימוש כפוף לרישיון NVIDIA Nemotron Open Model License, שמסווג במאגר כ־other. הוא מתיר שימוש מסחרי בקוד ובמשקלים, אך מחייב בדיקה של תנאי השימוש המשפטיים של NVIDIA לפני הפצה במוצר.

הרישיון המלא בעמוד המודל ↗