kernelbench-hard-traces

מה זה

הנתונים כוללים 693 קבצי ריצה בפורמט jsonl שמקורם במבחן KernelBench-Hard. כל קובץ מייצג סשן מלא של סוכן בסגנון Claude-Code, ומתעד ניסיונות מימוש ואופטימיזציה של קרנלים כבדים כמו FP8 GEMM, paged attention ו־MoE על כרטיסי RTX PRO 6000 Blackwell, H100 ו־B200. הביצועים נמדדו מול מודל roofline.

שמות הקבצים מתעדים את הדגמים שנבדקו, בהם מודלים כמו gpt-5.5, claude-opus-4-7 ו־qwen3.6. הריצות לא מגיעות כמקשה אחידה: ספקים פתוחים כמו DeepSeek או GLM כוללים את תהליך החשיבה המלא, בעוד בריצות של Claude ו־Codex שרשרת המחשבה מוצפנת, ובריצות של Grok כל התהליך אוחד לתור בודד בגלל אופן הדגימה.

מתאים ל

• הערכת ביצועי סוכני קוד

  בדיקה השוואתית של מודלים בכתיבת קרנלים מורכבים ל־GPU מול נתוני ביצועים אמיתיים.

• אימון ייעודי לאופטימיזציה

  כוונון עדין של מודלי שפה על תהליכי פתרון באגים ב־CUDA וב־Triton לפי עקבות הסוכנים הפתוחים.

• ניתוח תהליכי חשיבה

  מחקר על אופן השימוש בכלים ושרשראות מחשבה של מודלים שונים בעת כתיבת קוד לחומרה.

איפה זה נופל

גודל המדגם קטן מ־1,000 רשומות, כך שלא מדובר בחומר גלם לאימון מודל בסיס אלא בבנצ'מרק וניתוח שגיאות. מעבר לזה, הנתונים מוגבלים לחלוטין לקוד באנגלית ולסביבות CUDA ו־Triton. ההבדלים בפורמט בין המודלים יוצרים חוסר אחידות קשה, שכן חלק מתהליכי החשיבה מוצפנים או דחוסים, וההערכה נשענת על חומרות ספציפיות שלא בהכרח תואמות לסביבה שלכם.

איך טוענים

אין כאן צורך באישור גישה מיוחד, המאגר פתוח להורדה ישירה מ־Hugging Face. כל קובץ jsonl שוקל כריצה עצמאית, וניתן לצפות בהם ישירות בממשק Agent Trace של הפלטפורמה או לטעון אותם בסקריפט פייתון סטנדרטי שקורא שורות json. שימו לב למבנה השדות שמשתנה מעט בין הספקים השונים, במיוחד בכל הנוגע לשרשרת המחשבה ולתיעוד קריאות הכלים.

from datasets import load_dataset

ds = load_dataset("Infatoshi/kernelbench-hard-traces")

הרישיון

הרישיון הוא MIT, מה שנותן לכם חופש כמעט מוחלט. מותר להשתמש בנתונים למחקר, לפיתוח פנימי וגם למוצרים מסחריים, כולל אימון מודלים, בלי חובה לשתף את הקוד שלכם באותו רישיון. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗