NVIDIA-Nemotron-Nano-12B-v2

מה זה

במקום עוד ארכיטקטורת טרנספורמר כבדה, נבידיה שילבה פה שכבות Mamba-2 עם שש שכבות Attention בלבד. המבנה הזה מקטין את עומס הזיכרון בריצות ארוכות ומאפשר להגיע לחלון הקשר של 128K טוקנים בלי צוואר הבקבוק הרגיל של זיכרון ה־KV.

המודל כולל מנגנון חשיבה מובנה, ומאפשר לקבוע ישירות בפרומפט אם להפעיל אותו עם think/ או לכבות אותו עם no_think/. המדידות מראות תוצאות חזקות במיוחד למתמטיקה ולוגיקה, כמו 97.75% ב־MATH500 ו־76.25% ב־AIME25, לצד 70.79% בייצור קוד ב־LCB כשמצב החשיבה פעיל. כשמכבים את החשיבה הביצועים במשימות קשות יורדים, אבל זמן התגובה מתקצר משמעותית.

מתאים ל

• סוכני קוד ואוטומציה

  ציון של 70.79% ב־LCB ותמיכה מובנית ב־Tool Calling ב־vLLM מתאימים למשימות פיתוח מוגדרות היטב.

• פתרון בעיות חישוביות

  תוצאה של 97.75% ב־MATH500 ומצב חשיבה מבוקר הופכים אותו למדויק במיוחד בעיבוד נתונים לוגיים.

• מערכות RAG מהירות

  שילוב שכבות Mamba-2 מקל על ניתוח מסמכים ארוכים בחלון של עד 128K ללא ניפוח זיכרון קיצוני.

איפה זה נופל

עברית לא נתמכת כאן באופן רשמי. רשימת השפות כוללת אנגלית, ספרדית, צרפתית, גרמנית, איטלקית ויפנית, ולכן כל שימוש בשפה מקומית ידרוש בדיקה קפדנית של הזיות ואיכות פלט ירודה. מעבר לכך, נתוני האימון מעודכנים רק עד ספטמבר 2024. נקודה נוספת היא תלות חזקה בחומרה של נבידיה, על כרטיסים אחרים או בסביבות לא סטנדרטיות המבנה ההיברידי פשוט לא ירוץ יעיל.

אותה משפחה

NVIDIA-Nemotron-Nano יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הגולמי עומד על 22.9GB בפורמט bfloat16, כך שצריך כרטיס בודד של 24GB דוגמת A10G או כרטיסים ארגוניים כמו A100 ו־H100. הוא מותאם במיוחד להרצה דרך vLLM, TensorRT-LLM ומערכות NeMo על לינוקס, ואפילו תומך במחשבי קצה מסוג Jetson AGX Thor.

בהרצה מקומית ב־vLLM חובה להגדיר mamba_ssm_cache_dtype כ־float32, אחרת הדיוק נפגע ישירות. אם אתם לא מחזיקים שרת GPU זמין ורציף, עדיף להשתמש ב־API מרוחק, כי עלות החזקת חומרה כזו לעומסים לא אחידים פשוט לא משתלמת.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/NVIDIA-Nemotron-Nano-12B-v2")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 22.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00004-of-00006.safetensors4.9 GB
• model-00002-of-00006.safetensors4.9 GB
• model-00001-of-00006.safetensors4.8 GB
• model-00003-of-00006.safetensors4.8 GB
• model-00005-of-00006.safetensors3.9 GB
• model-00006-of-00006.safetensors1.3 GB
• tokenizer.json17.1 MB
• tokenizer_config.json181.3 KB
• acc-vs-budget.png87.3 KB
• modeling_nemotron_h.py78.8 KB
• README.md47.4 KB
• model.safetensors.index.json29.1 KB
• nemotron_toolcall_parser_streaming.py21.3 KB
• configuration_nemotron_h.py12.2 KB
• nemotron_toolcall_parser_no_streaming.py3.7 KB
• explainability.md2.6 KB
• safety.md2.3 KB
• privacy.md2.3 KB
• bias.md2.3 KB
• .gitattributes1.6 KB
• config.json1.5 KB
• special_tokens_map.json422 B
• generation_config.json158 B

הרישיון

השימוש כפוף לרישיון NVIDIA Open Model License Agreement. הרישיון מאפשר שימוש מסחרי, אך כולל תנאים והגבלות משפטיות של נבידיה שצריך לבדוק לעומק לפני הפצה בתוך מוצר מסחרי סגור.

הרישיון המלא בעמוד המודל ↗