הכלי של האגינג פייס שיחסוך ניסויים על שבבי אמזון

החשבון החודשי של AWS מגיע תמיד באותו יום, ומחיר מאיצי ה-GPU של Nvidia לא מראה שום סימני ירידה. ב-23 באוקטובר 2026 הודיעה Hugging Face על שחרור כלי בדיקה חדש שמציג בדיוק אילו מודלים רצים בצורה מקורית על שבבי Trainium2 של אמזון. המעבר מתבצע באמצעות חבילת torch-neuronx ישירות בתוך PyTorch, במקום ההסתמכות המעיקה על ספריית optimum-neuron שהכריחה צוותים לשכתב חלקים נרחבים מהקוד. לפי הפוסט של Hugging Face, המטרה היא לאפשר הרצת מודלים מה-Hub בלי שינויי ארכיטקטורה, תחת התחביר המוכר של PyTorch.

עבור קהילת הפיתוח בישראל, מדובר בסגירת מעגל מעניינת במיוחד. שבבי Trainium מפותחים במקור על ידי מעבדות אנאפורנה של אמזון בחיפה וביקנעם, שמנסות לייצר אלטרנטיבה אמיתית למעבדים הגרפיים היקרים, לצד דיווחים על מגעים של AWS לרכישת הסטארט-אפ הישראלי Decart. החומרה תמיד נשמעה מבטיחה על הנייר, אבל התוכנה גרמה לרוב המהנדסים לוותר מראש אחרי השגיאה השלישית בבניית הגרף. התמיכה המקורית דרך TorchNeuron מנסה לפתור בדיוק את צוואר הבקבוק הזה, והמאגר החדש בא לבדוק האם זה באמת עובד.

לא הייתי ממהר להעביר את כל קווי הייצור של החברה ל-Trainium2 כבר מחר בבוקר בלי בדיקה קפדנית של הגרפים המקומפלים. מי שעבד בעבר עם ספריות המרה מכיר את התסכול של קוד שעובד נהדר בסביבה מקומית אך מתרסק לחלוטין ברגע שמנסים להריץ אותו על מאיץ ייעודי בענן. לפי הדוקומנטציה, המעבר ל-TorchNeuron מעלה את אחוזי התמיכה במודלים, אך הארכיטקטורות שנותרו בחוץ עדיין דורשות התעסקות משמעותית.

הבטחות לחוד ומציאות לחוד.

מציאת המודל לפני שנוגעים בקוד

במקום להקצות מופע יקר, להתקין ספריות ולגלות שהארכיטקטורה שלכם זורקת שגיאה בקומפילציה, מרחב הבדיקה הייעודי של torch-neuronx model support מרכז את כל הנתונים מראש. המערכת נפתחת בתצוגת Selected שמציגה מודלים מובילים מתוך המאגר לפי כמות הורדות ודירוגי Trending, ומפרטת לכל אחד את התוצאה, מספר ליבות ה-Neuron הנדרשות, צריכת הזיכרון המרבית ומשך הריצה הכולל יחד עם שלב הקומפילציה. אפשר לעבור לתצוגת Trending או Downloads כדי לחפש מודל ספציפי לפי שמו, וכן לבחור את גרסאות מהדר ה-Neuron בשם neuronx-cc ואת גרסת ספריית transformers כדי לוודא התאמה מדויקת לסביבת העבודה שלכם.

המרחב מציג גם מודלים שלא נבדקו, ובמקרים שבהם מודל הושאר בחוץ בכוונה, המערכת מפרטת את הסיבה לכך. ברוב המקרים מדובר במודל שלא תועדף לבדיקה, ובמקרים מסוימים מדובר בחוסר תאימות אמיתי של הארכיטקטורה. לפי הדוקומנטציה, כרגע נבדקים מודלים של Transformers בלבד מתוך סוגי המשימות של text-generation ו-image-text-to-text. התוכנית של Hugging Face היא להרחיב את הבדיקות בהמשך גם לספריות diffusers, מודלי sentence transformers ומשימות נוספות.

כל המידע שמוצג במרחב נשען על מאגר נתונים פתוח בשם aws-neuron/torch-neuronx-model-support. המאגר מאורגן בקובצי Parquet נפרדים לכל צמד של גרסת neuronx-cc וגרסת ספריות, ומכיל לכל מודל את התוצאה, פירוט השגיאה במקרה של כישלון, גרסאות ה-stack המלאות ואת קובץ ה-run.py המדויק ששימש לבדיקה. אפשר לתשאל את הנתונים ישירות בפייתון עם ספריית pandas באמצעות קריאה לקובצי ה-Parquet, וכך לסנן מודלים ספציפיים ולבדוק את מספר הליבות הנדרש עבורם.

כאשר מתשאלים את המאגר ישירות, ניתן לבחון את התוצאה של המודל וכן את הסיבות לכישלון עבור ארכיטקטורות שאינן נתמכות. חלק מהמודלים נכשלים עקב פעולות שאינן ממופות במהדר או קריסות שקשורות בטיפול ב-dynamic shapes בזמן קומפילציה. מידע זה מאפשר להבין מראש האם כדאי להשקיע מאמץ בהתאמת הארכיטקטורה או להמתין לעדכוני גרסה עתידיים של מהדר ה-Neuron.

ארבעה שלבים להרצה ראשונה

כשבוחרים מודל במרחב הבדיקה, המערכת מציגה את סביבת ה-Neuron המדויקת שעליה הוא נבדק, את החבילות שיש להתקין מעליה ואת סקריפט ההרצה run.py. הסקריפט טוען את המודל באמצעות פקודת from_pretrained הרגילה עם פיצול ליבות במידת הצורך, ומבצע תהליך generation בעזרת מטמון סטטי וקריאה ל-torch.compile עם backend שמוגדר כ-neuron. כדי להריץ את הקוד מקימים מופע trn2 של אמזון, מתקינים את החבילות בתוך סביבת AWS Neuron Deep Learning Container ומריצים ישירות python3 run.py. אין צורך להשתמש ב-torchrun כיוון שהסקריפט מפעיל בעצמו תהליכי torch.distributed כשהמודל מפוצל על פני כמה ליבות.

סנכרון קובצי הגרף הוא הנקודה שבה אתם חוסכים את עיקר הזמן. ריצה ראשונה על מאיץ דורשת בדרך כלל קומפילציה ארוכה של גרפי המודל, אך המרחב מספק פקודת סנכרון להורדת הגרפים שאותו המהדר בנה במהלך הבדיקות מתוך דלי ה-NEFF cache הציבורי. פקודת hf buckets sync מאפשרת להוריד את קובצי המטמון של גרסת המהדר הרלוונטית ישירות לנתיב המקומי /tmp/neff_cache ולדלג על ההמתנה הממושכת. לפי Hugging Face, שימוש בגרפים המקומפלים מראש ממאגר ה-NEFF מאפשר לדלג על זמני הקומפילציה הארוכים בריצה הראשונה. קוד ההרצה מיישם חלוקת משקלים עם מקביליות טנזורים עבור רוב המודלים, או מקביליות מומחים בלבד עבור מודלי Mixture of Experts שאין להם תוכנית tensor parallel מוגדרת.

השימוש במטמון סטטי בקוד ההרצה אינו מקרי. מהדר ה-Neuron דורש מבנה קבוע כדי לייצר גרף יעיל, ולכן צורות דינמיות עלולות לגרום לקומפילציות חוזרות ונשנות או לקריסות במהלך הריצה. הגדרת static cache במסגרת קריאת ה-generation מבטיחה שהזיכרון יוקצה מראש באופן קבוע, מה שמונע תקורות מיותרות של padding בזמן עיבוד טוקנים.

האותיות הקטנות של מבחן ה-PASS

בזמן כתיבת שורות אלה, רק מודלים שנכנסים ב-4 התקני Trainium2 נבדקים, כלומר לכל היותר 16 ליבות. סטטוס PASS אינו אומר דבר על קצב עיבוד או על יצירת טקסטים ארוכים.דוקומנטציית Hugging Face

כאן חייבים לצנן את ההתלהבות ולבדוק מה המבחן באמת בדק. מבחן התאימות טוען את המודל על מופע trn2 ומפצל אותו על פני המספר המינימלי של ליבות שיכול להכיל את המשקלים שלו. לאחר מכן, המבחן מייצר 32 טוקנים בלבד ובודק אותם. במודל שרץ על ליבה בודדת, 32 הטוקנים שנוצרו מושווים ישירות לפלט שנוצר מריצת CPU של אותו המשקל בדיוק. כשהמודל מפוצל על פני כמה ליבות במקביל, מודל שופט קטן בודק שהטקסט שנוצר הוא באנגלית תקינה ושוטפת. זה הכל.

המשמעות היא שתוצאת PASS ירוקה במאגר אינה מספקת מידע לגבי קצב עיבוד של טוקנים לשנייה או לגבי יכולת המודל לייצר טקסטים ארוכים מעבר לאותם 32 טוקנים קבועים. בנוסף, המבחנים במאגר הוגדרו למודלים שנכנסים בעד ארבעה התקני Trainium2 בלבד, כלומר מקסימום של 16 ליבות Neuron. ארכיטקטורות ענק שדורשות חלוקה על פני אשכולות נרחבים יותר של חומרה נשארות מחוץ לטווח הכיסוי של הבדיקה הנוכחית.

זה שווה רק אם המודל שלכם נכנס במסגרת 16 הליבות ומסתפק בגודלי קלט סטטיים.

שבב ישראלי מול מפלצת ירוקה

התמריץ לבחון את המעבדים של אמזון הוא בראש ובראשונה כלכלי. עלות שעת עבודה של מאיץ Trainium2 בודד עומדת על 2.235 דולר, לעומת 5.97 דולר לשעה עבור מאיץ Nvidia H100. עבור חברות שמריצות היקפי הסקה גדולים בענן, פער המחירים הזה מצטבר לסכומים משמעותיים מאוד בכל חודש, בהנחה שהקוד אכן מסוגל לרוץ ביציבות על גבי התשתית של Neuron.

לצד החיסכון הכספי קיים סייג משמעותי עבור מי שכבר השקיע בחומרה מהדורות הקודמים של אמזון. תשתית TorchNeuron החדשה מיועדת עבור שבבי Trainium2 (והדורות הבאים) ואינה תומכת בשבבי Trn1 או Inferentia2. משתמשים בעלי תשתיות המבוססות על שבבי הדור הקודם מסוג trn1 או Inferentia2 ממשיכים להסתמך על סביבת העבודה של PyTorch/XLA ועל AWS Neuron SDK התומך בנוסף גם ב-JAX ובשפת NKI.

אם הארכיטקטורה שלכם נכללת ברשימת המודלים שכבר קיבלו אימות במרחב הבדיקה, כדאי לבדוק את התאימות בפועל מול דלי המטמון של Hugging Face. היכולת להוריד גרפים מקומפלים מראש מ-NEFF cache חוסכת את שעות ההמתנה הארוכות שאיפיינו בעבר כל ניסיון הרצה על שבבי החברה. אם הריצה תקינה בתוך המגבלות של 16 ליבות ומטמון סטטי, החיסכון בעלויות הענן בהחלט עשוי להצדיק את ביצוע המעבר.

בינתיים, הכפתור עדיין אפור.

שאלות ותשובות

מה שואלים על זה

האם המודל שלי חייב להתאים בדיוק למשקלים שנבדקו במאגר?

התאימות נבדקת ברמת ארכיטקטורת המודל והמהדר. אם המודל שלכם משתמש באותה ארכיטקטורה מדויקת ובממדים שנבדקו, שינוי במשקלים עצמם אינו אמור לפגוע בתאימות הריצה.

מדוע מעבדי הדור הקודם trn1 ו-inf2 אינם נתמכים בכלי החדש?

חבילת TorchNeuron החדשה מבוססת על תמיכה מקורית של PyTorch עבור שבבי Trainium2, בעוד מעבדי הדור הקודם נשענים על תשתית התוכנה הקודמת של PyTorch/XLA.

מה עושים אם הריצה נכשלת על צורות דינמיות (dynamic shapes)?

המהדר של Neuron מעדיף צורות קבועות מראש. קוד הבדיקה משתמש במטמון סטטי ובגדלים מוגדרים כדי למנוע קריסות במהלך שלב הקומפילציה של torch.compile.

האם תוצאת PASS מבטיחה שהמודל יהיה מהיר יותר מריצה על GPU?

לא. תוצאת PASS מאשרת בלבד שהמודל נטען בהצלחה ומייצר 32 טוקנים תקינים ללא שגיאות קוד, אך אינה מספקת נתוני ביצועים או השוואת מהירות עיבוד.

מקורות

1. Does Your Model Run on AWS Trainium? Look It Uphuggingface.co · המקור
2. Introducing TorchNeuron: Native PyTorch backend for AWS Trainiumpytorch.org · קריאה נוספת
3. Torch NeuronX Model Support Lookup Spacehuggingface.co · קריאה נוספת
4. `aws-neuron/torch-neuronx-model-support`huggingface.co · מקושר מההודעה

איך בדקנו

29 עובדות בכתבה נבדקו אחת־אחת מול המקורות המקושרים ומול חיפוש ברשת ב־23 באוקטובר 2026. מה שלא אומת הוסר או מסומן כטענה של החברה. הכתיבה נעשתה בעזרת AI מהמקורות האלה בלבד, בעריכה ובאחריות של סלבה מלנדוביץ׳. טעות? כתבו לנו.