Llama-3.1-Nemotron-Nano-4B-v1.1

מה זה

מדובר בגרסה מכווצת של Llama 3.1 8B שעברה חיתוך וזיקוק, ולאחר מכן אימון ייעודי למשימות חשיבה, כתיבת קוד והפעלת כלים. הדבר המרכזי כאן הוא מתג חשיבה מובנה בפרומפט המערכת. אפשר להורות לו לחשוב לעומק או לענות ישירות, מה שמשפיע דרמטית על התוצאות.

ההבדל בביצועים בולט מאוד. במבחן המתמטיקה MATH500 הוא מזנק מציון של 71.8% כשהחשיבה כבויה ל־96.2% כשהיא מופעלת, ובמבחן התכנות MBPP הוא עולה מ־61.9% ל־85.8%. הוא תומך בהקשר של עד 131,072 טוקנים, נתון נדיר למודלים במשקל נוצה כזה, שמכוון ישירות לעבודה עם מסמכים ארוכים ומערכות שליפת מידע.

מתאים ל

• סוכנים אוטונומיים מקומיים

  הוא מגיע עם פרסר מובנה להפעלת כלים ורץ על כרטיס מסך ביתי יחיד.

• פתרון בעיות מתמטיקה ותכנות

  מצב החשיבה המובנה מקפיץ את הדיוק באלגוריתמיקה בלי צורך במודל ענק.

• שליפת מידע ממסמכים ארוכים

  חלון הקשר של 128 אלף טוקנים מאפשר להזין תיעוד טכני נרחב בבת אחת.

איפה זה נופל

האימון המקדים של המודל נעצר ביוני 2023, כך שהוא לא מעודכן באירועים שקרו מאז בלי שתזרימו לו מידע עדכני. נקודה בעייתית נוספת היא שלפעמים המודל מתעקש לחשוב ולהאריך בדברים גם כשמכבים את מנגנון החשיבה בהגדרות, מה שמחייב מפתחים לשתול מראש תגיות סגירה של הבלוק כדי לא לבזבז זמן וטוקנים. בנוסף, עברית כלל לא מופיעה ברשימת השפות הנתמכות בכרטיס, שכוללת בעיקר אנגלית, קוד ומספר שפות אירופיות ואסיאתיות, ולכן הוא לא מתאים ליישומים שדורשים שפה מקומית שוטפת.

אותה משפחה

Llama-3.1-Nemotron-Nano יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל תופס 8.4 גיגה-בייט בקבצי המשקולות שלו בדיוק bfloat16. הוא נכנס בקלות לזיכרון של כרטיס RTX בודד מסדרות 30, 40 או 50, ואפשר להריץ אותו מקומית גם על חומרת Jetson ייעודית או מעבדי שרת כמו A100 ו־H100.

אנבידיה סיפקה תמיכה מסודרת להרצה דרך vLLM עם פרסר מובנה לקריאות כלים בפורמט JSON ותבנית צ'אט מותאמת. שרת כזה נותן נקודת קצה תואמת OpenAI בתוך דקות. אם אתם לא מחזיקים כרטיס מסך עם לפחות 12 עד 16 גיגה זיכרון כדי להחזיק גם את המודל וגם חלון הקשר סביר, עדיף להשתמש בשרת ענן במקום לחנוק את החומרה המקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Llama-3.1-Nemotron-Nano-4B-v1.1")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 8.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors4.0 GB
• tokenizer.json17.2 MB
• accuracy_plot.png56.8 KB
• tokenizer_config.json52.6 KB
• model.safetensors.index.json23.9 KB
• README.md17.0 KB
• llama_nemotron_nano_toolcall_parser.py3.7 KB
• explainability.md2.9 KB
• llama_nemotron_nano_generic_tool_calling.jinja2.6 KB
• .gitattributes1.6 KB
• safety.md913 B
• config.json910 B
• privacy.md503 B
• special_tokens_map.json296 B
• bias.md204 B
• generation_config.json155 B

הרישיון

השימוש כפוף לרישיון המודלים הפתוחים של אנבידיה לצד תנאי הרישיון הקהילתי של Llama 3.1. המודל מוגדר כמוכן לשימוש מסחרי, כל עוד עומדים במגבלות של מטא ואנבידיה לגבי היקפי שימוש ותנאי הפצה.

הרישיון המלא בעמוד המודל ↗