SambaNova

הסקירה

SambaNova מריץ מודלי שפה גדולים על שבבי RDU ייעודיים במקום על מעבדי GPU רגילים. השבבים האלה, כמו מדגם SN50, מתמקדים בשלב ה-decode של הפקת הטקסט, שבו השרת פולט טוקן אחרי טוקן ורגיש מאוד למהירות הזיכרון. המערכת מגיעה כחומרה שלמה בארונות שרתים בשם SambaRack לצד שכבת תוכנה שנקראת SambaStack. הרעיון המרכזי הוא לתת קצב פליטה מהיר במיוחד למודלים כמו DeepSeek או gpt-oss-120b, בעיקר עבור סוכני AI שמבצעים עשרות לולאות חשיבה ברצף. מי שמתחבר אליהם מרחוק מקבל ממשק API שתואם לחלוטין לפורמט של OpenAI, כך שאין צורך לשכתב קוד קיים.

החומרה הזו פועלת בקירור אוויר רגיל.

בדיקות ביצועים של SemiAnalysis על מודל MiniMax M2.7 מציגות קצב של כמעט 820 טוקנים בשנייה. זה נתון גבוה מאוד בהשוואה לעבודה שגרתית על אשכולות גרפיים סטנדרטיים, והוא נועד לפתור צוואר בקבוק אמיתי של סוכנים אוטונומיים. בלולאות עבודה ארוכות, כמו הרצה של סוכן תכנות שצרך 13 מיליון טוקנים במשך 25 שעות, השהיה קטנה בכל מילה מצטברת לשעות של המתנה. SambaNova מפרידה את שלב קליטת הקלט (prefill) שמתאים לכרטיסי GPU משלב פליטת הפלט (decode), שעובר למעבדי ה-RDU כדי לחסוך חשמל ולסחוט מהירות מקסימלית בלי לשדרג את כל תשתית החשמל באולם.

כמה זה עולה, ולמה אין מספרים

אם תסרקו את האתר שלהם בחיפוש אחר תג מחיר נקוב בדולרים לחודש או לענן, לא תמצאו כלום. המודל העסקי מוגדר כפתרון בתשלום שמשלב תוכנה פתוחה, אבל המכירה נעשית כולה דרך אנשי מכירות וחוזי ענק מותאמים אישית. החברה מדברת בגלוי על מכירת ארונות שרתים שלמים לספקי ענן, כמו OVHcloud בצרפת או עננים לאומיים אחרים, לצד פריסות מקומיות במוסדות כמו JPMorganChase. אין כאן מחירון שקוף של עלות פר מיליון טוקנים ברמת שירות עצמי ישיר.

זה שווה את זה רק אם אתם ספקי ענן או ארגון ענק שמריץ סוכנים רעבים לטוקנים מסביב לשעון.

• מחירון באתראין מספרים
• תאימות ממשקפורמט OpenAI
• קירור שרתיםאוויר רגיל

למי המוצר מתאים וממי הוא רחוק

צוות פיתוח קטן בישראל שבונה אפליקציה פשוטה לא צריך לחפש מגע ישיר עם SambaNova. הארכיטקטורה הזו נועדה לחוות שרתים, למפעילי תשתיות תקשורת ולספקי שירותי ענן שרוצים למכור גישה מהירה למודלים פתוחים. הם מדברים על החזר השקעה של 6 חודשים למפעילי ענן, לא למשתמשי קצה. עבור מפתח עצמאי, הדרך היחידה לגעת בחומרה הזו היא לצרוך אותה בעקיפין דרך פלטפורמות ניתוב מודלים כמו OpenRouter או ספקים שרוכשים את הארונות שלהם. לחברות שמחזיקות דאטה סנטר מקומי ורוצות ריבונות מידע מלאה בישראל, החומרה הזו רלוונטית בגלל יכולת הפעולה בארונות רגילים.

אין באתר שום התייחסות לעברית.

מה שבאמת מפריע כאן הוא חוסר השקיפות המוחלט לגבי עלויות הרישוי של SambaStack ודרישות הרכש המינימליות. החברה השלימה סבב גיוס של מיליארד דולר לפי שווי של 11 מיליארד דולר, ורואים שהיא מכוונת אך ורק לדרגי הנהלה ארגוניים בכירים. קשה מאוד לתכנן ארכיטקטורה תקציבית כשהחברה דורשת מכם לעבור פגישות מכירה ארוכות כדי להבין כמה עולה להחזיק ארון SambaRack SN50 באוויר. לא הייתי משקיע זמן בבדיקת התשתית הזו עבור פרויקטים שלא מחייבים תעבורה רציפה של עשרות אלפי טוקנים בכל רגע נתון.