מודל הענק של Meta לא באמת ירוץ על שולחן העבודה שלכם

הבטחות לחוד, וחשבונות חומרה לחוד. אתמול הכריזה Meta על שחרור משקולות המודל Muse Spark Open, ולפי הכותרות ברשת אפשר היה לחשוב שכל מפתח יכול להוריד מודל שמתחרה בענקיות ישר למחשב האישי שלו. עכשיו, כשפותחים את המפרט ובודקים את המספרים היבשים, התמונה מתבהרת. המודל אמנם מוגדר כמשקולות פתוחות תחת רישיון Muse Model License, אבל להריץ אותו בבית זה סיפור אחר לגמרי.

לא הייתי ממהר לפתוח את הארנק.

מפלצת קוד של 816 מיליארד פרמטרים

המודל החדש מגיע עם כ־816 מיליארד פרמטרים בסך הכל, אך בזכות ארכיטקטורת תערובת מומחים הוא מפעיל כ־42 מיליארד פרמטרים בלבד לכל טוקן. בכל שכבה מתוך 62 השכבות פועלים 256 מומחים, ומנתב פנימי בוחר מתוכם 8 מומחים מדויקים בכל שלב. ההפרדה הזאת מאפשרת לבצע חישוב מהיר השקול לרשת קטנה יחסית, בעוד כל 256 המומחים חייבים להישאר טעונים בזיכרון הפיזי בו־זמנית. לפי החברה, המומחים מחזיקים כ־97% מכלל הפרמטרים של המודל, כאשר ממד הזיכרון הנסתר עומד על 8192, וכל שכבה כוללת 128 ראשי שאילתות ו־16 ראשי מפתח־ערך בשיטת Grouped-query attention.

מעבר לכתיבת קוד, המערכת כוללת חלון הקשר ענקי של עד מיליון טוקנים ותומכת בקלט מולטימודלי של טקסט, תמונות, קובצי וידאו והקלטות שמע. רכיב תפיסה ייעודי של 1.8 מיליארד פרמטרים, המבוסס על 50 שכבות ומחלק תמונות למקטעים של 14 על 14, מפרק פריימים של וידאו ותמונות לטוקנים עבור מודל השפה. דוחס שמע נפרד מייצר 12.5 טוקנים לשנייה מקובצי קול גולמיים בתדר של 24 קילו־הרץ, כלומר טוקן אחד לכל 80 מילישניות. המודל מתכנן, מפעיל כלים, עוקב אחרי תוצאות ומתקן באגים על פני מאגרי קוד שלמים.

האותיות הקטנות של הזיכרון המאוחד

המודל בגרסאות הרשמיות לא נכנס במחשב שולחני יחיד. משקולות המודל בפורמט המקורי BF16 שוקלות 1.5 טרה־בייט, וכדי להריץ אותן דרך ספריית transformers נדרשים 4 צמתים של 8 מעבדי GPU מסוג H200 עם מקביליות טנסור של 32. גם בגרסה המכווצת ל־4 ביט, NVFP4, שנועדה במקור לשבבי NVIDIA Blackwell, משקל המודל עומד על כ־493 גיגה־בייט. מחשב Mac Studio עם מעבד M5 Ultra כולל לכל היותר 512 גיגה־בייט זיכרון מאוחד, כך שלא נשאר בו מקום לחישובי ביניים או לתהליכי מערכת.

בעוד שדגמי Qwen ו־Mistral נכנסים במחשב Mac Studio יחיד עם 512GB זיכרון, המודל Muse Spark Open דורש מעל 1.6TB זיכרון בפורמט המקורי בלבד.חוקרי חומרת MLX של Apple

כדי לעקוף את המחסום, אפל מציעה לחבר אשכול של שניים או ארבעה מחשבי Mac Studio בעזרת כבלי Thunderbolt 5 ודרייבר RDMA ייעודי של macOS 26.2 דרך חבילת jaccl של MLX. לפי חוקרי Apple, אשכול של שני מחשבים מפיק קצב פענוח של 15.7 טוקנים לשנייה במקביליות צינור ו־24.9 טוקנים לשנייה במקביליות טנסור, וחיבור של ארבעה מחשבים מגיע לקצב של 36.7 טוקנים לשנייה בהקשר של 8,192 טוקנים. אם תרצו לנצל את מלוא חלון מיליון הטוקנים, רק הזיכרון השמור לנתוני הקשר ב־BF16 דורש תוספת של כ־266 גיגה־בייט, שכן כל טוקן מוסיף כ־250 קילו־בייט לטבלת ה־KV cache.

מקומי מול ענן: חשבון ההוצאות האמיתי

רכישת שני מחשבי Mac Studio בתצורה הבכירה ביותר דורשת השקעה מוקדמת של עשרות אלפי דולרים לפני כבלים, מתגים ובלאי. בשוק הישראלי, פערי המיסוי, המע״מ ועלויות הייבוא מייקרים את החומרה עוד יותר, ללא שום התאמה ייחודית של המודל לעברית או לכתיבה מימין לשמאל. זה שווה רק אם המידע שלכם מסווג ברמה כזו שאסור לו לגעת בשום שרת חיצוני לעולם. אם אתם משלמים על שרתים מקומיים כדי להריץ ניסוי פיתוח, מדובר בהימור תקציבי לא מבוטל.

במקביל, המודל זמין כעת לפריסה מנוהלת בתוך Amazon SageMaker JumpStart. גרסת NVFP4 פועלת שם על גבי שרת בודד מדגם ml.p5e.48xlarge, וגרסת BF16 המלאה נתמכת בשרתי ml.p6-b300.48xlarge באזורי צפון וירג'יניה ואוהיו. לפי AWS, פריסת נקודת קצה לוקחת בין 15 ל־20 דקות בפריסה דרך SageMaker Studio, והשרת כולל יכולות בידוד רשת בתוך Amazon VPC והצפנה ב־AWS KMS. התשלום עבור נקודת הקצה נמשך כל עוד היא פועלת, ללא תלות במספר הבקשות שמוגשות אליה, ויש למחוק אותה בתום העבודה כדי לעצור את החיוב.

החשבון פשוט.

מתי בכל זאת לבנות אשכול שולחני

חברות ביטחוניות או גופי בריאות עם רגולציה קפדנית עשויים להצדיק את העלות כדי לשמור כל שורת קוד בתוך רשת מבודדת לחלוטין. בעבודה מקומית עם MLX, המחשבים צורכים כ־300 ואט לכל יחידת M5 Ultra בהרצת דגמי Qwen 3.8 ו־Mistral Medium 3.5 בדיוק המקורי שלהם, שזה נתון חסכוני בחשמל בהשוואה למערכות שרתים מסורתיות. עבור רוב הארגונים שאינם מחויבים לשמור מידע מנותק לחלוטין מרשתות חיצוניות, פריסה מנוהלת בענן חוסכת רכישה מראש של חומרה מקומית יקרה ומורכבת.

לפני שאתם ממהרים להזמין מחשבים חדשים, כדאי להרים נקודת קצה בענן, לבחון את איכות התוצרים של גרסת 4 הביט על מאגר הקוד שלכם, ולראות אם המודל אכן מספק ערך מוסף. המודל אינו מאפשר לכבות את תהליך ההסקה הפנימי (reasoning), כך שגם במשימות פשוטות מומלץ להגדיר את רמת ההסקה לרמה הנמוכה ביותר כדי לחסוך טוקנים יקרים. שולחן העבודה שלכם יכול להישאר נקי לעת עתה.