NVIDIA-Nemotron-3-Nano-4B-BF16

מה זה

מדובר במודל שפותח באנבידיה על ידי דחיסה של גרסת ה־9B הקודמת, כשהוא בנוי על ארכיטקטורה היברידית שמכילה בעיקר שכבות Mamba-2 ו־MLP לצד ארבע שכבות של Attention בלבד. המבנה הזה מיועד לאפשר לו לרוץ מהר וביעילות על כרטיסים גרפיים ביתיים ומכשירי קצה, בלי לצרוך כמויות זיכרון מוגזמות על חישובי הקשר ארוך. הוא מציע שליטה מלאה בתהליך החשיבה שלו, אפשר להריץ אותו עם שלב נימוק מפורט לקבלת תשובות מדויקות, או לכבות את מנגנון החשיבה ולקבל תשובה מיידית וישירה לפעולות פשוטות.

במדדי ביצועים המודל מציג פער ברור בין המצבים. במתמטיקה מתקדמת ב־MATH500 הוא מגיע ל־95.4 עם חשיבה פעילה, לעומת ביצועים חלשים יותר במשימות שיחה וסוכנים כמו מבחני Tau2 שנעים בין 24.9 ל־34.8 בלבד כשהחשיבה כבויה. בבדיקות של קריאת מסמכים וטקסטים ארוכים ב־RULER הוא שומר על 91.1 אחוז דיוק ב־128 אלף טוקנים, מה שמעיד על שמירה טובה של מידע גם בהקשר רחב. המודל שופר בעזרת שימוש ב־Qwen ומאומן על דאטה שכולל עקבות חשיבה סינתטיים מ־DeepSeek R1.

מתאים ל

• עוזר מקומי במשחקים

  מתאים לריצה בזיכרון של כרטיס מסך ביתי לצורך הפעלת דמויות ללא שחקן שמגיבות לפקודות שחקן באנגלית.

• קריאת מסמכים ארוכים

  מאפשר עיבוד של טקסטים ארוכים במיוחד בקוד ובאנגלית תודות לשמירה על דיוק גבוה בתוך חלון של 128 אלף טוקנים.

• פתרון בעיות מתמטיקה

  משיג דיוק גבוה של מעל 95 אחוז במבחן MATH500 כאשר מפעילים את שלב החשיבה המלא של המודל.

איפה זה נופל

התמיכה מוגבלת לשפה האנגלית וקוד, והוא לא מתאים כלל לעבודה בעברית. במשימות מורכבות של סוכנים אוטומטיים ושיחות מרובות שלבים המודל מפגין תוצאות נמוכות מאוד, עם 22.9 בלבד במבחן Orak וציונים סביב 30 אחוז במדדי תמיכה טכנית של שירות לקוחות. אם תכבו את החשיבה תסבלו מירידה חדה ביכולת שלו לעקוב אחרי הוראות מורכבות, עם ציונים של כ־43 אחוז ב־IFBench. בנוסף תאריך סיום המידע עליו אומן הוא ספטמבר 2024, ולכן אינו מכיר אירועים עדכניים יותר.

אותה משפחה

NVIDIA-Nemotron-3-Nano יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל של הקבצים ב־BF16 הוא 7.4 גיגה-בייט, כך שכרטיס מסך בודד כמו RTX 3080 עם 10 גיגה זיכרון או A10G יספיק כדי להעלות אותו. אם אתם רוצים לנצל את מלוא חלון ההקשר שמגיע ל־262 אלף טוקנים, תצטרכו כרטיס עם זיכרון גדול יותר כמו A100 או H100 כדי להחזיק את כל הנתונים בריצה. המודל נתמך רשמית בריצה על vLLM החל מגרסה 0.15.1 עם פלאגין מותאם לפענוח עקבות חשיבה, וכן במנוע TRT-LLM של אנבידיה ובספריית transformers של פייתון.

הקריאה ל־API של שירות ענן מתאימה בעיקר אם אין לכם גישה לכרטיסי מסך מודרניים של אנבידיה שכן הארכיטקטורה מותאמת ישירות ל־CUDA, או כשאין לכם צורך בתגובה מקומית מהירה ופרטית בתוך מכשיר הקצה.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 7.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors7.9 GB
• tokenizer.json17.1 MB
• tokenizer_config.json188.0 KB
• modeling_nemotron_h.py78.6 KB
• README.md59.5 KB
• configuration_nemotron_h.py12.1 KB
• chat_template.jinja10.5 KB
• explainability.md3.1 KB
• safety.md3.0 KB
• bias.md2.7 KB
• privacy.md2.4 KB
• .gitattributes1.6 KB
• config.json1.4 KB
• nano_v3_reasoning_parser.py798 B
• special_tokens_map.json420 B
• generation_config.json171 B
• LICENSE0 B
• __init__.py0 B

הרישיון

המודל מופץ תחת רישיון NVIDIA Nemotron Open Model License. הרישיון מאפשר שימוש מסחרי בחינם, אך כפוף להסכם השימוש הספציפי של אנבידיה שמגדיר את תנאי ההפצה של המודל ונגזרותיו במוצרים.

הרישיון המלא בעמוד המודל ↗