Nemotron-4-340B-Instruct

מה זה

מדובר במודל שיחה מכוונן באנגלית שעבר אימון מקדים על 9 טריליון טוקנים, אבל המטרה המרכזית שלו היא לא לענות בצ'אט למשתמשי קצה אלא לשמש מנוע שמייצר דאטה עבור מודלים קטנים יותר. אנווידיה ביצעה עליו כוונון עדין שהתבסס בכמעט תשעים ושמונה אחוזים על נתונים סינתטיים שנוצרו במערכת שלה, לצד שיטות יישור כמו DPO ושיטה פנימית בשם RPO.

במבחני ביצועים הוא מציג תוצאות טובות בחילוץ מידע עם ציון 9.20 ב־MT-Bench ומתמטיקה עם 92.3 ב־GSM8K, אבל הציונים שלו בתכנות ובהיגיון כללי נמוכים משמעותית. הוא קיבל 6.70 בלבד בקוד ו־6.40 בהיגיון באותו מבחן. גם ב־Arena Hard הוא עומד על 54.2, מה שמראה שבשיחה מורכבת מול בני אדם הוא עדיין רחוק מהרמה של המודלים המובילים בשוק.

מתאים ל

• ייצור דאטה סינתטי

  יצירת אלפי דוגמאות אימון באיכות גבוהה באנגלית לצורך כוונון עדין של מודלים קטנים יותר.

• חילוץ מידע מובנה

  שליפת נתונים מטקסטים קצרים בזכות ציון של 9.20 במבחני חילוץ מידע.

• פתרון בעיות מתמטיות

  עיבוד משימות חישוב והסבר שלבי פתרון בדיוק גבוה לפי מבחן GSM8K.

איפה זה נופל

החיסרון הבולט הוא חלון הקשר המזערי שעומד על 4,096 טוקנים בלבד. אי אפשר להזין מסמכים ארוכים, קבצי קוד שלמים או לנהל שיחות מתמשכות. מעבר לזה, המודל מיועד ומיושר רק לאנגלית, והידע שלו נעצר ביוני 2023. אנווידיה מציינת בפירוש שהוא עלול לפלוט תוכן פוגעני, להטמיע הטיות חברתיות מהאינטרנט, לייצר תשובות לא מדויקות או להשמיט עובדות קריטיות.

אותה משפחה

Nemotron-4 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אי אפשר להריץ את הדבר הזה על שרת רגיל. בשביל להריץ הסקה ב־BF16 צריך שרת של שמונה כרטיסי H200, או שני שרתים שלמים שמכילים יחד שישה עשר כרטיסי H100 או A100 של 80 ג'יגה. המשקל לבדו תופס 215 ג'יגה בייט על הדיסק, ומדובר על עבודה עם קונטיינר NeMo של אנווידיה וניהול תהליכים דרך Slurm.

אם אין לכם אשכול מחשוב כזה בארגון, אין טעם לנסות להוריד אותו למחשב מקומי. הדרך היחידה להשתמש בו בלי תשתית של עשרות אלפי דולרים היא דרך ממשק ה־API של build.nvidia.com.

pip install -U huggingface_hub
hf download nvidia/Nemotron-4-340B-Instruct

הקבצים

983 קבצים במאגר, 215 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.7.0339.7 MB

הרישיון

המודל שוחרר תחת NVIDIA Open Model License שמאפשר שימוש מסחרי חופשי, יצירה והפצה של מודלים נגזרים, ואנווידיה אינה טוענת לבעלות על הפלטים. אפשר להשתמש בו במוצרים מסחריים כל עוד עומדים בתנאי ההסכם של אנווידיה מיוני 2024.

הרישיון המלא בעמוד המודל ↗