Llama-3.1-Nemotron-70B-Instruct

מה זה

אנבידיה לקחה את בסיס ההוראות של לאמה 3.1 70B והעבירה אותו אימון חיזוק עם אלגוריתם REINFORCE, מודל תגמול ייעודי ומאגר הנתונים HelpSteer2 הכולל כעשרים אלף דוגמאות. המטרה היתה לחדד את המועילות והדיוק העובדתי של התשובות, והתוצאות במבחנים האוטומטיים אכן מיקמו אותו בראש טבלאות יישור המודלים באוקטובר 2024.

במדד Arena Hard הוא השיג 85.0 ובאלפקה אוואל 57.6, ציונים שעוקפים מודלים מובילים וסגורים. המשמעות בפועל היא יכולת גבוהה מאוד במעקב אחר הוראות מורכבות והבנת ניואנסים בשפה, אך רואים בבירור שהוא נוטה לייצר פלט ארוך ומפורט בהרבה מהרגיל, עם ממוצע של כמעט 2,200 תווים לתשובה במבחן MT-Bench.

מתאים ל

• עוזר שיחה להנחיות מורכבות

  הוא מצטיין במענה מפורט ומדויק להוראות משתמש כלליות ומורכבות באנגלית בזכות ציוני ה־Arena הגבוהים.

• יצירת תוכן מפורט באנגלית

  הנטייה שלו לייצר טקסטים ארוכים ועשירים בפרטים מתאימה למשימות ניסוח שדורשות העמקה.

• בדיקת איכות ויישור מודלים

  יכול לשמש נקודת ייחוס מקומית לבחינת איכות המענה של מודלים אחרים על פי תקני HelpSteer2.

איפה זה נופל

המודל פותח אך ורק לשפה כללית ולמעקב אחרי הנחיות יומיומיות. אנבידיה מצהירה במפורש שהוא לא עבר כוונון למשימות מתמטיות או לתחומים מקצועיים מורכבים, כך שלא כדאי לבנות עליו לחישובים, לקוד סבוך או לחילוץ לוגי טהור. בנוסף, הנטייה שלו לתשובות ארוכות במיוחד עלולה להאט את זמני התגובה, לצרוך טוקנים רבים שלא לצורך, והוא מוגבל לטקסט באנגלית בלבד ללא התאמה לעברית.

אותה משפחה

Llama-3.1-Nemotron יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו עצמאית נדרשת מפלצת חומרה אמיתית. לפי היצרן צריך שרת לינוקס עם לפחות ארבעה כרטיסי 40GB או שני כרטיסי 80GB של אנבידיה בארכיטקטורות אמפר, הופר או טיורינג, לצד 150GB שטח דיסק פנוי לקבצים ולסביבת העבודה.

הריצה בגרסה הזו דורשת את חבילת NeMo, מנוע Triton, חשבון ומפתח ב־NGC ואישור גישה למשקלים של לאמה. למי שרוצה להימנע מההקמה הכבדה הזו יש גרסה מומרת לטרנספורמרס, או אפשרות לבדוק קריאות ישירות דרך נקודת הקצה שאנבידיה מארחת באתר שלה.

pip install -U huggingface_hub
hf download nvidia/Llama-3.1-Nemotron-70B-Instruct

הקבצים

986 קבצים במאגר, 44.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.0.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.1.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.10.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.11.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.12.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.13.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.14.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.15.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.2.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.3.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.4.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.5.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.6.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.7.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.8.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.9.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.0.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.1.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.10.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.11.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.12.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.13.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.14.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.15.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.2.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.3.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.4.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.5.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.6.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.7.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.8.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.9.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.0.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.1.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.10.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.11.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.12.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.13.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.14.058.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.15.058.7 MB

הרישיון

השימוש כפוף לרישיון הדגמים הפתוח של אנבידיה לצד תנאי הקהילה של לאמה 3.1. הרישיון מתיר שימוש מסחרי ומחקר, אך מחייב עמידה במגבלות השימוש של מטא, כולל דרישה לאישור מיוחד לחברות עם למעלה מ־700 מיליון משתמשים פעילים חודשיים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗