Llama-3.1-Nemotron-Nano-8B-v1

מה זה

אנבידיה לקחה את בסיס ההוראות של לאמה בגודל שמונה מיליארד פרמטרים והעבירה אותו סדרת אימונים נוספת עם חיזוקים לפתרון בעיות, מתמטיקה, כתיבת קוד והפעלת כלים חיצוניים. הייחוד העיקרי הוא האפשרות לשלוט בתהליך החשיבה ישירות מההנחיה הראשית, כך שאפשר להחליט אם הוא יפלוט טוקנים של הסקת מסקנות בתגיות מיוחדות או יענה מיד.

ההבדל בביצועים בין שני המצבים חד. במבחן המתמטיקה MATH500 הוא מזנק מציון של 36.6% במצב כבוי ל־95.4% כשהחשיבה דולקת, ובמבחן הקוד MBPP הדיוק עולה מ־66.1% ל־84.6%. לעומת זאת, במשימות של עמידה בהוראות טקסטואליות פשוטות כמו IFEval, המצב הכבוי מדויק יותר ועומד על 82.1% לעומת 79.3%.

מתאים ל

• סוכני קוד מקומיים

  תוצאה של 84.6% במבחן MBPP ויכולת חשיבה מעמיקה לפני כתיבת פונקציות, בלי להוציא קוד מהרשת המקומית.

• פתרון בעיות מתמטיקה ומדע

  ציון של 95.4% במבחן MATH500 הופך אותו לכלי חישובי חזק שמסוגל לפרק שלבים מורכבים בתוך חומרה צנועה.

• שילוב במערכות שליפת מידע

  התאמה מובנית לקריאת כלים וחיבור לנתונים חיצוניים מאפשרת לו לפעול כרכיב סיכום והסקה יעיל בצינור RAG.

איפה זה נופל

המודל מיועד ומאומן בעיקר לאנגלית ולשפות תכנות, לצד תמיכה חלקית בכמה שפות אירופיות, הינדי ותאי, כך שעברית לא מופיעה ברשימת השפות הנתמכות ודרושה בדיקה יסודית לפני שמנסים לעבוד איתה. בנוסף, הידע של מודל הבסיס נחתם בשנת 2023, עובדה שמחייבת חיבור למקור מידע עדכני במשימות שדורשות נתונים חדשים.

בעיה טכנית נוספת היא הנטייה של המודל להתחיל לחשוב מעצמו ולייצר תגיות חשיבה גם כשהגדרתם לו במפורש לא לעשות את זה, מה שמאלץ להזריק מראש את התשובה כדי לעקוף את הבאג.

אותה משפחה

Llama-3.1-Nemotron-Nano יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 15 גיגה בייט בפורמט bfloat16, כך שכרטיס RTX יחיד מסדרות 30, 40 או 50 עם מספיק זיכרון וידאו יספיק כדי לטעון אותו ישירות דרך ספריית transformers הרגילה, בתנאי שמשתמשים בגרסה 4.44.2 ומעלה.

אנבידיה מעמידה גם ממשק תצוגה מקדימה בענן שלה למי שלא רוצה להחזיק שרת ייעודי או להתעסק עם ניהול זיכרון של חלון ההקשר המלא. מי שמריץ מקומית צריך לזכור להגדיר בנפרד את הטמפרטורה, 0.6 לחשיבה פעילה או פענוח חמדני לחלוטין כשהיא כבויה, כדי לקבל תוצאות יציבות.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Llama-3.1-Nemotron-Nano-8B-v1")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• tokenizer_config.json52.6 KB
• model.safetensors.index.json23.9 KB
• README.md15.0 KB
• explainability.md2.9 KB
• .gitattributes1.6 KB
• config.json933 B
• safety.md913 B
• privacy.md503 B
• special_tokens_map.json296 B
• bias.md204 B
• generation_config.json185 B

הרישיון

השימוש כפוף לשני הסכמים במקביל, הרישיון הפתוח של אנבידיה והסכם הקהילה של לאמה 3.1. המודל מאושר לשימוש מסחרי באפליקציות ומוצרים, אך החוזים כוללים הגבלות שימוש והפצה ייעודיות של שתי החברות שיש לקרוא לפני הטמעה.

הרישיון המלא בעמוד המודל ↗