SOL-ExecBench
קוד פתוחnvidiaother2026-03-11
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מאגר של 235 הגדרות קרנלים לחישוב ב־CUDA שנלקחו ממודלים אמיתיים ב־HuggingFace. הוא מיועד למי שבונה או בוחן מודלים שמייצרים קוד ביצועים ומחפש השוואה מול תקרת החומרה הפיזית.
- 13,407הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 235 רשומות שמגדירות עומסי חישוב ברמת הקרנל. המקורות נאספו בסריקה של מודלים ממאגרי Transformers ו־Diffusers ב־HuggingFace, וסוכן LLM חילץ מהם תת-גרפים חישוביים והמיר אותם למבנה אחיד. אין פה תיוג אנושי, אלא רק מפרטים מובנים וקוד פייתון להרצה.
כל שורה מייצגת בעיה חישובית עם תיאור מילולי, הגדרות צירים סימבוליים, דרישות לקלטים ולפלטים של טנזורים, וקוד ייחוס ב־PyTorch שמכיל נקודת כניסה בשם run. בנוסף יש רשימת מקרים להרצה שמגדירה ערכים קונקרטיים, אסטרטגיות לייצור קלטים וספי שגיאה לבדיקת דיוק.
התוכן מחולק לארבע תצורות. תצורת ברירת המחדל FlashInfer-Bench כוללת 26 בעיות, החלק של L1 כולל 94 בעיות, L2 כולל 82 בעיות מורכבות יותר, ותצורת Quant מכילה 33 גרפים שמטפלים בכימות ודיוקים נמוכים כמו FP8 ו־NVFP4.
מתאים ל
- בנצ'מרק לסוכני קוד
בדיקת יכולת של מודלי שפה לייצר קרנלים ב־CUDA מתוך תיאור מילולי ומפרט טנזורים.
- הערכת מהדרים ואופטימיזציה
מדידת ביצועי קוד מיוצר מול מהירות החומרה המקסימלית ומול קוד ייחוס ב־PyTorch.
- אימות נכונות חישובים
הרצת מבדקי נכונות מול מימושי ייחוס תוך בדיקת ספי שגיאה בדיוקי FP16 ו־NVFP4.
איפה זה נופל
החולשה המרכזית היא שיטת האיסוף. תת-הגרפים חולצו בעזרת סוכן LLM ולא נבדקו ידנית על ידי בני אדם, מה שעלול להשאיר הגדרות בעייתיות בקוד הייחוס או במפרטי הבעיות. בנוסף, 235 בעיות זה מדגם קטן מאוד שלא מכסה את כל סוגי השכבות והחישובים שרצים בפועל. החומר מוגבל לפעולות חישוביות נפוצות ברשתות נוירונים, אין בו שפות אנושיות מעבר לקוד ותיאורים באנגלית, והוא לא מתאים לאימון רחב אלא רק כמבחן ביצועים ממוקד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
הכרטיס מציין שהמאגר מיועד ומוכן לשימוש מסחרי, תחת רישיון ייעודי של NVIDIA להערכת ביצועים. כדאי לקרוא את קובץ הרישיון המצורף במאגר כדי לוודא מה המגבלות המדויקות על שילובו במוצרים.
כמה מקום המאגר תופס בדיסק?
הנפח הכולל קטן מג'יגה-בייט אחד. מדובר ב־235 רשומות בלבד שמחולקות לארבעה קובצי Parquet, כך שההורדה והטעינה מתבצעות תוך שניות בודדות.
האם המאגר כולל נתונים בעברית?
לא. המאגר מכיל אך ורק מפרטים טכניים, שמות אופרטורים וקוד פייתון באנגלית, שנגזרו מארכיטקטורות מודלים.
איך נאספו הנתונים לתוך המאגר?
המידע נאסף מסריקה אוטומטית של מאגרי Transformers ו־Diffusers ב־HuggingFace. סוכן LLM חילץ את תת-הגרפים החישוביים והפך אותם להגדרות JSON מובנות ללא תיוג ידני.
איך טוענים
הנתונים יושבים בקובצי Parquet פתוחים להורדה ישירה בלי צורך בבקשת גישה מיוחדת, ונפח האחסון הכולל קטן מג'יגה-בייט אחד. טוענים אותם באמצעות ספריית datasets הרגילה, כשבוחרים את התצורה הרצויה מתוך הארבע הזמינות. כדי להשתמש בהם לבדיקות ביצועים מול תקרת החומרה צריך את קוד הייחוס שבשדה reference, את מפרטי הטנזורים ואת סקריפטי ההערכה החיצוניים של NVIDIA.
from datasets import load_dataset
ds = load_dataset("nvidia/SOL-ExecBench")הרישיון
הרישיון נקרא NVIDIA Evaluation Dataset License Agreement, אך הכרטיס מציין במפורש שהדאטהסט מוכן לשימוש מסחרי. לא מדובר ברישיון קוד פתוח מוכר, אלא בהסכם ייעודי להערכה מטעם החברה. אם אתם מתכננים לאמן עליו מודלים פנימיים או לשלב נתונים במוצר מסחרי, מומלץ לבדוק את תנאי קובץ ה־LICENSE המלא כדי לוודא שאין בו הגבלות על קניין רוחני של פלטים.