Nemotron-Labs-Diffusion-8B

מה זה

במקום לפלוט טוקן בודד בכל צעד, המודל הזה מציע שלושה מצבי עבודה שונים לחלוטין באותו משקל: פענוח רגיל צעד אחר צעד, פענוח מקבילי בדיפיוז'ן, ומצב משולב שבו הוא מנחש טוקנים בדיפיוז'ן ובודק את עצמו מיד בפענוח רגיל עם אותו זיכרון עבודה. החלפת המצבים בזמן ריצה נעשית רק על ידי שינוי תבנית תשומת הלב של השכבות.

במבחני ביצועים בסביבת SGLang מול Qwen3-8B-Eagle3, המצב המשולב הציג אורך קבלה גבוה פי שלושה ומהירות כפולה פי 2.2. בהשוואה למודל רגיל בלי מנגנון חיזוי מקבילי, הוא מייצר פי 5.9 יותר טוקנים בכל מעבר חישובי קדימה, מה שמעביר את צוואר הבקבוק מרוחב הפס של הזיכרון אל כוח החישוב של המעבד הגרפי.

מתאים ל

• האצת שרתים מקומיים

  מתאים לשרתים שבהם נדרשת מהירות פליטה גבוהה למשתמש יחיד בלי להריץ מודל טיוטה נפרד ברקע.

• עיבוד מסמכים ארוכים

  חלון הקשר של 262,144 טוקנים מתאים לניתוח טקסטים כבדים תוך שמירה על זיכרון מטמון משותף.

• הרצה חסכונית במשאבים

  מעבר לכימות w4a16 מאפשר להגיע לקצבים של מעל 100 טוקנים לשנייה גם בחומרה מוגבלת יחסית.

איפה זה נופל

הארכיטקטורה חדשה ודורשת ספריות תשתית עדכניות מאוד שתומכות בהחלפת תבניות תשומת הלב בזמן אמת, מה שעלול להקשות על הטמעה מהירה במערכות קיימות. בנוסף, המסמך הטכני מציין שדרוש מחקר עתידי על שיטות דגימה כדי למצות את מלוא פוטנציאל המהירות שלו, וכרטיס המודל אינו מפרט תוצאות מבחני בנצ'מרק על משימות שפה ספציפיות או רמת תמיכה בעברית.

אותה משפחה

Nemotron-Labs-Diffusion יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל שוקל 16.0 גיגה בייט ומגיע בפורמט bfloat16 על פני 23 קבצים. כדי להריץ אותו צריך גרסת transformers מעודכנת של 5.0.0 ומעלה, וכרטיס שמסוגל להחזיק את כל המשקלים יחד עם זיכרון העבודה עבור חלון ההקשר הגדול שמגיע עד 262,144 טוקנים.

לפי נתוני היצרן, במערכת DGX Spark בהרצה בודדת עם כימות w4a16 המודל מייצר 112 טוקנים לשנייה, לעומת 41.8 במצב רגיל. במערכות חזקות כמו GB200 עם קרנלים ייעודיים של CUDA הוא מגיע לקצב של עד 1015 טוקנים לשנייה.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Nemotron-Labs-Diffusion-8B")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 16.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors17.0 GB
• linear_spec_lora/adapter_model.safetensors142.6 MB
• tokenizer.json17.1 MB
• assets/demo.mp49.5 MB
• assets/demo.gif8.2 MB
• assets/result_efficiency.png801.2 KB
• assets/teaser.png580.9 KB
• assets/result_acc.png404.6 KB
• tokenizer_config.json177.2 KB
• modeling_nemotron_labs_diffusion.py36.3 KB
• modeling_ministral.py20.5 KB
• chat_template.jinja10.5 KB
• configuration_nemotron_labs_diffusion.py8.3 KB
• README.md8.0 KB
• model_cards/explainability.md2.0 KB
• .gitattributes2.0 KB
• model_cards/privacy.md1.6 KB
• config.json1.3 KB
• linear_spec_lora/adapter_config.json871 B
• model_cards/safety.md626 B
• model_cards/bias.md512 B
• special_tokens_map.json420 B
• generation_config.json133 B

הרישיון

השימוש כפוף לרישיון הרשמי של אנבידיה המכונה NVIDIA Nemotron Open Model License, והוא מסווג תחת other. יש להיכנס לתנאי הרישיון המקוריים כדי לבדוק הגבלות שימוש מסחרי, הפצה או חובות דיווח לפני שילוב במוצר.

הרישיון המלא בעמוד המודל ↗