Nemotron-4-340B-Base

מה זה

מדובר במודל השלמת טקסט עצום ממדים שלא עבר התאמה לשיחה. הוא אומן על טקסטים באנגלית, מעל 50 שפות נוספות ויותר מ־40 שפות תכנות, כשהמטרה המרכזית שלו היא לשמש מנוע שמייצר נתוני אימון איכותיים לחוקרים שרוצים לבנות מודלים משלהם. שלב האימון כלל שמונה טריליון טוקנים ראשוניים ועוד טריליון טוקנים של אימון המשך שבו שינו את הרכב הנתונים כדי לשפר את הביצועים.

במבחני הבנצ'מרק הוא מציג יכולות חזקות מאוד בהבנת שפה וידע כללי עם ציון של 81.1 ב־MMLU ו־94.28 ב־ARC Challenge. יחד עם זאת, ביצועי כתיבת הקוד שלו עומדים על 57.3 בלבד ב־HumanEval באפס דוגמאות, מה שמראה שבלי כוונון ייעודי הוא פחות מתאים כמפתח אוטונומי ויותר כבסיס רחב ללמידה.

מתאים ל

• ייצור דאטה סינתטי

  יצירת מאגרי נתונים איכותיים ומגוונים לאימון מודלים קטנים יותר בארגון.

• אימון מודלים ייעודיים

  בסיס לכוונון עדין עם NeMo למשימות שדורשות ידע מתמטי, משפטי ומדעי.

• השלמת קוד רב-לשונית

  הפקת קטעי קוד בתוך סביבות פיתוח שתומכות ביותר מ־40 שפות תכנות שונות.

איפה זה נופל

זהו מודל בסיס נקי שלא עבר תהליכי יישור בטיחותיים כמו RLHF או הנחיות שיחה, ולכן הוא נוטה לפלוט הטיות, תוכן פוגעני או תשובות רעילות שנאספו מהרשת. הכרטיס מזהיר במפורש מפני חוסר דיוקים, השמטת עובדות מהותיות ופליטת טקסט מיותר, גם אם הפרומפט לא כלל שום דבר בעייתי. בנוסף, חלון ההקשר שלו מוגבל ל־4,096 טוקנים בלבד ונתוני האימון שלו נעצרו ביוני 2023.

אותה משפחה

Nemotron-4 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הסיוט האמיתי כאן הוא הברזלים. להסקה בסיסית בפורמט BF16 תצטרכו שרת שלם עם שמונה כרטיסי H200, או שני שרתים שמכילים יחד 16 כרטיסי H100 או 16 כרטיסי A100 של 80 גיגה. המודל שוקל 215 גיגה ומגיע ב־983 קבצים נפרדים, כשהתקשורת וההרצה נשענות על כלי NeMo ודורשות פריסה מבוזרת עם Slurm על גבי קונטיינר ייעודי.

אם אין לכם קלאסטר ארגוני זמין ותקציב חומרה כבד, אין שום היגיון לנסות להריץ אותו עצמאית. כל עוד המטרה שלכם היא רק להתנסות או לייצר דאטה בהיקף נקודתי, קריאה לשירות מנוהל או API חיצוני תחסוך לכם כאב ראש תשתיתי עצום.

pip install -U huggingface_hub
hf download nvidia/Nemotron-4-340B-Base

הקבצים

983 קבצים במאגר, 215 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/0.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/1.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/10.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/11.7.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.0.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.1.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.2.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.3.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.4.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.5.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.6.0339.7 MB
• model_weights/model.decoder.layers.mlp.linear_fc1.weight/12.7.0339.7 MB

הרישיון

הוא מופץ תחת רישיון NVIDIA Open Model שמתיר שימוש מסחרי מלא. אתם רשאים ליצור מודלים נגזרים ולהפיץ אותם, ואנבידיה אינה דורשת בעלות על הפלטים שהמודל מייצר. עם זאת, השימוש כפוף לקריאת תנאי ההסכם הייעודיים של החברה.

הרישיון המלא בעמוד המודל ↗