Nemotron-Labs-Diffusion-3B

מה זה

הארכיטקטורה כאן שונה ממה שרץ בדרך כלל בגודל הזה. במקום לפעול רק בשיטה הרגילה של טוקן אחרי טוקן, הוא מחליף תבניות תשומת לב ומאפשר שלושה מצבי עבודה: פענוח רגיל, פענוח דיפיוז'ן מקבילי, ומצב היברידי שבו המודל מנחש לעצמו רצף טוקנים ובודק אותם באותו זיכרון מטמון.

בבדיקות של אנבידיה על גרסת השמונה מיליארד באותה משפחה, השיטה הזו השיגה קצב קבלת טוקנים גבוה פי שלושה מפתרונות ספקולציה חיצוניים ומהירות כפולה לעומתם. הרעיון הוא להעביר את העומס מרוחב הפס של הזיכרון לכוח החישוב, כך שטעינה אחת של המשקלים מפיקה כמה טוקנים ברצף.

מתאים ל

• הסקה מקומית בזמן תגובה נמוך

  הפענוח המקבילי מקצר את זמן ההמתנה לטוקן ראשון ורצף שלם בחומרה מקומית.

• שרת שירות בעומס משתנה

  מעבר גמיש בין דיפיוז'ן לפענוח רגיל מאפשר התאמה למספר משתמשים שונה על אותו כרטיס.

• מחקר של שיטות פענוח חדשות

  מבנה הזיכרון המשותף מאפשר לבחון ספקולציה עצמית בלי להחזיק מודל טיוטה נפרד.

איפה זה נופל

המודל הזה הוא גרסת מעבדה ומחקר. אין בכרטיס שום פירוט על נתוני האימון, רמת הבטיחות שלו, או התמיכה בשפות שאינן אנגלית, מה שאומר שבדיקות בעברית תצטרכו לעשות לגמרי לבד. מעבר לזה, ניצול מלא של המהירות דורש סביבות ריצה מתקדמות ותמיכה בארכיטקטורת Tri-Mode, כך שאינטגרציה למוצר קיים אינה מיידית.

אותה משפחה

Nemotron-Labs-Diffusion יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 7.3 גיגה בייט בדיוק של bfloat16, כך שכרטיס מסך בודד עם 12 עד 16 גיגה זיכרון יריץ אותו בקלות. תצטרכו להתקין גרסה חדשה מאוד של transformers, ספציפית חמש ומעלה, אחרת הארכיטקטורה הזו פשוט לא תטען בסביבה שלכם.

אם אתם צריכים תפוקה יציבה של מודל קטן בלי להתעסק עם קרנלים ייעודיים של CUDA או הגדרות מיוחדות של ספקולציה עצמית, קריאה לשרת מנוהל תהיה פשוטה יותר. הרצה עצמית שווה את הטרחה רק כשאתם באמת מנצלים את הפענוח המקבילי שלו כדי לחתוך זמני תגובה.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Nemotron-Labs-Diffusion-3B")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 7.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors7.7 GB
• linear_spec_lora/adapter_model.safetensors95.4 MB
• tokenizer.json17.1 MB
• assets/demo.mp49.5 MB
• assets/demo.gif8.2 MB
• assets/result_efficiency.png801.2 KB
• assets/teaser.png580.9 KB
• assets/result_acc.png404.6 KB
• tokenizer_config.json177.2 KB
• modeling_nemotron_labs_diffusion.py36.3 KB
• modeling_ministral.py20.5 KB
• chat_template.jinja10.5 KB
• configuration_nemotron_labs_diffusion.py8.3 KB
• README.md8.0 KB
• model_cards/explainability.md2.0 KB
• .gitattributes1.9 KB
• model_cards/privacy.md1.6 KB
• config.json1.3 KB
• linear_spec_lora/adapter_config.json871 B
• model_cards/safety.md626 B
• model_cards/bias.md512 B
• special_tokens_map.json420 B
• generation_config.json133 B

הרישיון

השימוש כפוף לרישיון NVIDIA Nemotron Open Model License. זה אינו רישיון קוד פתוח סטנדרטי כמו אפאצ'י או MIT, אלא הסכם קנייני של אנבידיה. הוא מתיר שימוש מסחרי תחת תנאי ההסכם שלהם, אך מחייב בדיקה של ההגבלות המשפטיות המדויקות לפני הטמעה במערכות מסחריות.

הרישיון המלא בעמוד המודל ↗