Nemotron-Labs-Diffusion-14B

מה זה

הארכיטקטורה כאן שונה ממודלי שפה רגילים. במקום לבחור בין יצירה רציפה איטית של טוקן אחרי טוקן לבין שיטות ניחוש שדורשות שני מודלים שונים, אותו מודל פועל בשלושה מצבים על ידי שינוי תבנית תשומת הלב בזמן הריצה. המצב המעניין ביותר הוא ספקולציה עצמית, שבה המודל מייצר טיוטת טוקנים במקביל באמצעות דיפיוז'ן ובודק אותה בעצמו בריצה רגילה עם זיכרון משותף.

בפועל המטרה היא להזיז את צוואר הבקבוק ממהירות הגישה לזיכרון אל כוח החישוב של המעבד הגרפי. המשקלים נטענים פעם אחת ומחשבים כמה טוקנים במקביל. לפי הנתונים שאנבידיה מציגה על גרסת השמונה מיליארד באותה משפחה, השיטה הזו משיגה אורך קבלה גבוה פי שלושה ומהירות כפולה בהשוואה לפתרונות ניחוש קיימים, תוך שמירה על אותה רמת דיוק של ריצה רגילה.

מתאים ל

• שרתי הסקה עם שיהוי נמוך

  יצירת טוקנים מהירה במיוחד בפנייה בודדת בזכות ניחוש מקבילי מבוסס דיפיוז'ן.

• עיבוד מסמכים ארוכים

  תמיכה בחלון הקשר ענק של 262,144 טוקנים לניתוח טקסטים מקיפים.

• הסקה חסכונית במודל בודד

  ניחוש ואימות טיוטות באותו המודל עם זיכרון משותף, בלי להחזיק מודל טיוטה נפרד.

איפה זה נופל

הכרטיס מדגיש תוצאות מהירות בעיקר על מודל ה־8B בחומרה ייעודית כמו GB200 או DGX Spark, ולא מפרט תוצאות ביצועים מלאות עבור גרסת ה־14B עצמה. מעבר לכך, מיצוי הפוטנציאל של הפענוח המקבילי דורש תמיכה מותאמת בתוכנת ההרצה, כמו קרנלים ייעודיים של קודה או תמיכה ב־SGLang. ללא התאמה כזו, המודל פשוט ירוץ במצב רגיל ואיטי בלי יתרון מורגש.

אותה משפחה

Nemotron-Labs-Diffusion יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך ספריית transformers בגרסה 5.0.0 לפחות. קובצי המשקלים לבדם שוקלים 25.4 גיגה בייט בפורמט bfloat16, כך שצריך כרטיס עם לפחות 32 גיגה בייט זיכרון כדי להעלות אותו, ועוד זיכרון נוסף בשביל חלון הקשר ארוך.

המפרט מציע אפשרות להוסיף מתאם LoRA מיוחד לשיפור שלב הדיפיוז'ן, מה שמגדיל עוד יותר את מספר הטוקנים שמתקבלים בכל מחזור חישוב. אם אין לכם חומרה ייעודית של אנבידיה עם קרנלים מותאמים שמנצלים את שיטת הפענוח הזו, ריצה מקומית על כרטיס ביתי פשוט תאבד את כל יתרון המהירות שלשמו המודל נבנה.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Nemotron-Labs-Diffusion-14B")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 25.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors27.0 GB
• linear_spec_lora/adapter_model.safetensors188.8 MB
• tokenizer.json17.1 MB
• assets/demo.mp49.5 MB
• assets/demo.gif8.2 MB
• assets/result_efficiency.png801.2 KB
• assets/teaser.png580.9 KB
• assets/result_acc.png404.6 KB
• tokenizer_config.json177.2 KB
• modeling_nemotron_labs_diffusion.py36.3 KB
• modeling_ministral.py20.5 KB
• chat_template.jinja10.5 KB
• configuration_nemotron_labs_diffusion.py8.3 KB
• README.md8.0 KB
• model_cards/explainability.md2.0 KB
• .gitattributes1.9 KB
• model_cards/privacy.md1.6 KB
• config.json1.3 KB
• linear_spec_lora/adapter_config.json873 B
• model_cards/safety.md626 B
• model_cards/bias.md512 B
• special_tokens_map.json420 B
• generation_config.json133 B

הרישיון

השימוש כפוף לרישיון NVIDIA Nemotron Open Model License. זהו אינו רישיון קוד פתוח סטנדרטי מסוג MIT או Apache, אלא הסכם ייעודי של אנבידיה שמכיל תנאים והגבלות משפטיות משלו. מי שמתכנן לשלב אותו במוצר מסחרי חייב לקרוא את נוסח הרישיון המלא ולוודא שהשימוש המיועד מותר תחת תנאי החברה.

הרישיון המלא בעמוד המודל ↗