אנבידיה פותחת את מודלי הסוכנים שלה כדי שתקנו עוד שרתים

שרת מקומי שרועש בחדר התקשורת הוא עדיין המקום הבטוח ביותר לשמור בו מסמכים רגישים. בזמן שענקיות הטכנולוגיה סוגרות את מודלי הקצה שלהן מאחורי ענן ומנויים חודשיים, NVIDIA משחררת את משפחת Nemotron 3.5 עם משקולות פתוחות להורדה. המהלך נועד לפנות ישירות לארכיטקטים שחייבים לעמוד ברגולציית פרטיות, אבל מאחורי המילים היפות על קוד פתוח מסתתר מנוע מכירות שדורש כרטיסי מסך יקרים במיוחד.

שליטה מוחלטת במידע עולה כסף, והרבה.

סוכן מקומי בלי ענן סגור

ההשקה הנוכחית מתמקדת בשני דגמים מרכזיים: Nemotron 3.5 Super VL למשימות מורכבות, ו-Bolt לתחנות עבודה מקומיות. הדגם המוביל כולל 120 מיליארד פרמטרים, אך בזכות ארכיטקטורת Mixture of Experts מופעלים רק 12 מיליארד פרמטרים בכל טוקן נתון. המבנה הזה מאפשר להגיע לקצב עיבוד גבוה בלי לשרוף את כל משאבי המחשוב ברגע אחד. לפי החברה, הפיתוח נעשה בשיתוף שותפות כמו Mistral AI ו-Perplexity, לצד מעבדות Thinking Machines Lab ו-Black Forest Labs.

מודל פתוח בעל 120 מיליארד פרמטרים המספק את השלמת המשימות המהירה ביותר ואת הדיוק הגבוה ביותר עבור סוכנים ייעודיים הפועלים ברציפות.ההודעה הרשמית של NVIDIA

לפי החברה, המודל מציג מהירות עיבוד הגבוהה פי חמישה ממודלים פתוחים מקבילים בקטגוריה שלו במבחני סוכנים לפי מדד Artificial Analysis, ומפיק מעל 600 טוקנים לשנייה בעמדות בדיקה מסוימות. הוא זוקק מתוך דגם Ultra הגדול יותר של החברה כדי להגיע לרמת דיוק דומה בחמישית מהגודל במשימות של שימוש בכלים, מעקב אחר הוראות ועיבוד תהליכים מרובי שלבים. במבחני סוכנים של Hermes ושל LangChain הוא אף עוקף את Ultra, ובמבחני הקוד SWE-bench ו-Terminal-Bench הוא עוקף את הדגם הקודם Nemotron 3 Super, אף שבמדד האחרון הוא עדיין רושם דיוק נמוך מחלק מהמתחרים.

מסמכים ותרשימים בלי מודל נוסף

החידוש המרכזי בארכיטקטורת Super VL הוא שילוב ישיר של מודל ראייה פנימי בעיבוד הטקסט. סוכני עבודה ארגוניים נתקעים בדרך כלל במעבר בין מערכת OCR נפרדת, מודל פינוח תמונות ומנוע שפה. כאן המערכת קוראת קובצי PDF, דפי אינטרנט, תמונות וסרטוני וידאו ישירות באותו מודל, ומחלצת נתונים מובנים מתוך טבלאות ותרשימים. הדבר מאפשר לשמור על הקשר רציף לכל אורך התהליך, מקריאת המסמך ועד לקבלת ההחלטה והפעלת הכלים הנדרשים.

במבחן התרשימים CharXiv רושם המודל ציון של 80.8 אחוזים לפי נתוני החברה, ועולה ל-84 אחוזים כאשר מתאפשרת הרצת קוד Python במקביל, לעומת 63 אחוזים בלבד בדגם הקודם Nemotron 3 Nano Omni. היכולת לחבר תרשים פיננסי לטבלה סמוכה באותו מסמך ללא מודל חיצוני מונעת איבוד הקשר קריטי. עבור ארגונים בתחומי הביטוח, הבריאות והפיננסים שמעבדים תביעות או דוחות אשראי רגישים, מדובר ביתרון תפעולי מובהק. חברות כמו Ramp כבר משתמשות במודל לחילוץ נתוני קבלות למבנה JSON ומדווחות על ציפייה להפחתת זמני השהיה פי עשרה, בעוד Skydance מיישמת אותו לבדיקת אשראי ספקים.

24 גיגה זה עדיין יקר

בשביל להביא סוכן עצמאי לשולחן העבודה שחררה החברה את דגם Nemotron 3.5 Bolt 74B-A9B. המודל כולל 74 מיליארד פרמטרים שמתוכם 9 מיליארד פעילים בכל שלב. כדי לדחוס אותו לתוך זיכרון של 24 גיגה-בייט השתמשה החברה בכיול אגרסיבי של שני ביטים למשקולות, אך רף החומרה הזה נותר גבוה עבור רוב המחשבים האישיים בארגון.

לא הייתי ממהר להתרגש מההבטחה לסוכן מקומי לכל עובד.

חומרה ייעודית עם 24 גיגה-בייט של זיכרון יקרה מדי עבור רוב המשתמשים, ושם בדיוק החברה גוזרת את הרווח. המודל מיועד לעבודה על מחשבי RTX Spark ניידים, תחנות DGX Spark, מחשבי GeForce RTX ותחנות עבודה מסדרת RTX PRO. הדגם הקל באמת, Bolt E4B הדורש 4 גיגה-בייט בלבד ומיועד לסייענים קוליים ודמויות אינטראקטיביות במכשירי קצה כמו Jetson, יגיע רק ב-23 באוקטובר 2026. בינתיים, מי שרוצה להריץ סוכן מקומי שלם נדרש לתחנות עבודה חזקות במיוחד, בעוד הצרכן הממוצע נשאר מחוץ למשחק.

ההבטחות שדורשות אימון נוסף

כאשר בוחנים את המדדים של Super VL ביחס למודלים מסחריים מובילים, צריך לקרוא את האותיות הקטנות. בדירוג הכללי של Artificial Analysis הדגם המקורי מפגר בפער ניכר אחרי מודלי הענן הסגורים. כל סיפורי ההצלחה שהחברה מציגה, כמו שיפור של 40 אחוזים ברמת הדיוק של Alice בבדיקת אבטחה או הפחתת עלויות פי 40 אצל Skydance, הושגו רק לאחר תהליך כוונון והתאמה מתקדם על גבי נתונים פרטיים.

האימון המקדים של המודל כלל כ-26 טריליון טוקנים, ולאחר מכן הופעלו כ-3.8 מיליון דוגמאות אימון נוספות בעשרות סביבות של למידת חיזוק. אם תורידו את המשקולות ישירות ללא התאמה ייעודית דרך כלי NeMo, לא תקבלו את אותם הישגים. בדוקומנטציה הטכנית מפורט כי המערכת נשענת על מנוע Dynamo לניתוב זיכרון מטמון ועל מנגנון פענוח LiLiCorr המייצר טוקנים חזויים כדי להאיץ את התגובה עד פי 2.3. על גבי 16 מעבדי B200 המערך הזה מאפשר לשרת פי שמונה משתמשים בו זמנית עם צמצום של 85 אחוזים בזמן ההמתנה לטוקן הראשון, אך כל הכלים האלה נבנו ישירות עבור החומרה של החברה.

איפה מורידים ומה בודקים קודם

המשקולות של Super VL ודגם ה-Bolt בגרסת 24GB זמינות כעת להורדה חופשית דרך Hugging Face, ונתמכות בכלי הרצה כמו vLLM לשרתים או llama.cpp לעמדות עבודה. מי שמחפש פתרון ארגוני מוכן יכול להטמיע את המודל כמיקרו-שירות דרך NVIDIA NIM, שמבטיח חבילות תוכנה מעודכנות ומאובטחות מדי שבועיים. עבור ארגונים ישראליים במגזר הפיננסי, הרפואי או הביטחוני שרוצים לעבד מסמכים מקומית מטעמי ריבונות מידע, מדובר באפשרות מעשית לניתוק מהענן, אך יש לקחת בחשבון שהמודל אינו כולל אופטימיזציה ייעודית לעברית.

אם אתם מתכננים סוכן טקסטואלי בלבד או מסתמכים על שרתי ענן קיימים, אין סיבה למהר לרכוש שרתים חדשים. מומלץ לבחון קודם את המשקולות הקיימות על סביבת בדיקה ולחכות להשקת דגם ה-4GB בהמשך החודש. בינתיים, החומרה היקרה נשארת אצלם בחשבונית.