NVIDIA-Nemotron-Nano-9B-v2

מה זה

במקום עוד טרנספורמר רגיל, אנבידיה הלכה כאן על ארכיטקטורה היברידית של Mamba-2 ושכבות MLP עם ארבע שכבות תשומת לב בלבד. המבנה הזה נועד לייצר ריצה חסכונית יותר בזיכרון, במיוחד בטקסטים ארוכים שמגיעים עד 128 אלף טוקנים. המודל מתמקד ביכולות חשיבה שלב אחר שלב, אותן אפשר להפעיל או לנטרל ישירות בהוראות המערכת באמצעות פקודות פשוטות.

במבחני ביצועים עם חשיבה פעילה, הוא עוקף את Qwen3-8B ברוב המדדים. במבחן הקוד LCB הוא מגיע ל־71.1% מול 59.5%, ובמתמטיקה מורכבת של AIME25 הוא מוציא 72.1% מול 69.3%. זה אומר שכשנותנים לו לחשוב לפני שהוא עונה, הוא מצליח לפתור בעיות היגיון וקוד שדגמים אחרים בגודל שמונה ותשעה מיליארד פרמטרים מפספסים.

מתאים ל

• פתרון בעיות קוד ב־CI

  תוצאה של 71.1% במבחן LCB וחלון הקשר רחב מאפשרים ניתוח של פונקציות וקבצי קוד שלמים.

• סוכנים אוטונומיים

  תמיכה מובנית בהפעלת כלים ובקרת תקציב חשיבה מאפשרות לאזן בין זמני תגובה ודיוק.

• חישובים מורכבים במערכות RAG

  תוצאה של 97.8% ב־MATH500 נותנת מענה מצוין לעיבוד נתונים מספריים מתוך מסמכים ארוכים.

איפה זה נופל

הנתונים שאומנו עליהם מגיעים עד ספטמבר 2024 בלבד, ואירועים מאוחרים יותר פשוט לא קיימים אצלו. מעבר לזה, רשימת השפות הנתמכות רשמית כוללת אנגלית, שפות מערב אירופיות ויפנית. עברית לא נכללת ברשימת התמיכה, ולכן לא הייתי בונה עליו לשום מוצר שמיועד לקהל ישראלי בשפת המקור. במשימות קיצוניות כמו מדד HLE המודל עומד על 6.5% בלבד, כך שגם עם מנגנון חשיבה פעיל הוא עדיין מוגבל מאוד בידע מדעי מעמיק.

אותה משפחה

NVIDIA-Nemotron-Nano יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל בפורמט bfloat16 תופס 16.6 גיגה-בייט, כך שאתם צריכים כרטיס גרפי יחיד עם לפחות 24 גיגה זיכרון כדי להריץ אותו בלי לחנוק את המערכת. אפשר להריץ אותו מקומית דרך vLLM גרסה 0.10.1 ומעלה, TensorRT-LLM או דרך transformers עם trust_remote_code מופעל. שימו לב שב־vLLM חובה להגדיר שמירת קאש של Mamba כ־float32, אחרת הדיוק נפגע.

אנבידיה מעמידה אותו גם כ־API מוכן בקטלוג שלה, וזו הבחירה ההגיונית אם אין לכם שרת ייעודי או אם אתם רק בודקים התאמה. הרצה עצמית שווה את המאמץ רק כשיש לכם חומרת אנבידיה תואמת כמו A10G או A100 ואתם רוצים לנצל את מנגנון תקציב החשיבה כדי לחסוך זמני תגובה.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/NVIDIA-Nemotron-Nano-9B-v2")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 16.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors3.0 GB
• tokenizer.json17.1 MB
• acc-vs-budget.png491.0 KB
• tokenizer_config.json181.3 KB
• accuracy_chart.png169.8 KB
• modeling_nemotron_h.py79.0 KB
• README.md47.3 KB
• model.safetensors.index.json26.8 KB
• nemotron_toolcall_parser_streaming.py21.3 KB
• configuration_nemotron_h.py12.2 KB
• nemotron_toolcall_parser_no_streaming.py3.7 KB
• explainability.md2.6 KB
• safety.md2.3 KB
• privacy.md2.3 KB
• bias.md2.3 KB
• .gitattributes1.7 KB
• config.json1.5 KB
• special_tokens_map.json422 B
• generation_config.json158 B

הרישיון

השימוש כפוף לרישיון NVIDIA Open Model License Agreement. הרישיון מאפשר שימוש מסחרי, אבל אינו רישיון קוד פתוח סטנדרטי מסוג MIT או Apache. מי שמתכנן להטמיע אותו במוצר מסחרי צריך לקרוא את תנאי ההסכם של אנבידיה ולוודא עמידה בהגבלות הפצה ושימוש שהחברה דורשת.

הרישיון המלא בעמוד המודל ↗