compute-eval
קוד פתוחnvidiaother2025-04-02
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
בנצ'מרק ייעודי של אנבידיה שבוחן מודלי שפה על כתיבת קוד CUDA. הוא בודק לא רק אם הקוד מתקמפל ועובר בדיקות פונקציונליות, אלא מודד זמני ריצה מול פתרונות בסיס על חומרת GPU.
- 547הורדות בחודש
- 28לייקים
מה זה
המאגר כולל 566 בעיות תכנות באנגלית שמחולקות לארבע גרסאות שחרור שונות. רוב המשימות כתובות ב־CUDA C++ ומכסות נושאים כמו ניהול זיכרון, קרנלים, ספריות מתמטיות, CUB ו־cuDNN, לצד משימות ב־CUDA Python שמיועדות לארכיטקטורות SM 10.0 ומעלה. מהנדסי אנבידיה כתבו את המשימות בעצמם או נעזרו במודלי שפה מסחריים של OpenAI ו־Anthropic כדי לייצר ולערוך אותן, כאשר כל בעיה וטסט עברו בדיקה אנושית.
כל רשומה בנויה כאובייקט JSON עמוס בפרטים. המודל מקבל פרומפט טקסטואלי, קבצי ממשק ועזר, ודרישות חומרה מינימליות. סוויטת הבדיקות נשארת מוסתרת בזמן הריצה, וכוללת פקודות הידור, פקודות הרצה, תנאי מעבר, ולעיתים גם פקודת בנצ'מרק שמודדת ביצועים במילישניות מול פתרון ייחוס.
מתאים ל
- הערכת מודלי שפה לקוד CUDA
בדיקה אוטומטית של נכונות פונקציונלית של קרנלים וממשקי זמן ריצה שנוצרו על ידי מודל.
- מדידת ביצועי ריצה בחומרה
השוואת מהירות הביצוע של קוד שנוצר מול פתרון ייחוס קיים באמצעות מדידת זמנים במילישניות.
- השוואת מודלים בתכנות מערכות
זיהוי נקודות חולשה של מודלים שונים בעבודה מול ספריות מורכבות כמו cuDNN, Thrust או cuBLAS.
איפה זה נופל
זהו כלי הערכה בלבד ולא דאטהסט שמתאים לאימון. כל ההוראות והקוד כתובים באנגלית טכנית, כך שאין כאן שום ייצוג לעברית. בנוסף, הבעיות נשענות באופן כמעט בלעדי על האקוסיסטם הסגור של אנבידיה, מה שהופך אותו ללא רלוונטי למי שמפתח מעל חומרה אחרת. צוות הפיתוח גם שומר לעצמו את הזכות לתקן משימות וטסטים בין גרסאות שונות, מה שאומר שאין ערובה לעקביות של ביט-אחר-ביט אם מריצים בדיקות היסטוריות לאורך זמן.
שאלות
נפוצות
האם מותר לאמן מודלים על הדאטהסט הזה?
לא, הרישיון אוסר זאת באופן חד-משמעי בסעיף ייעודי. הדאטהסט שוחרר תחת הסכם רישוי להערכה בלבד, ומטרתו הבלעדית היא בחינה ובנצ'מרק של מערכות קיימות. אימון או כוונון עדין של אלגוריתמים ומודלים על בסיס הדוגמאות האלו מהווים הפרה ישירה של תנאי השימוש.
האם יש בדאטהסט תמיכה בעברית?
אין שום תמיכה בעברית. כל הפרומפטים, הממשקים, ההערות בקוד ובדיקות הקבלה כתובים באנגלית בלבד. מדובר במאגר טכני מובהק שמתמקד בארכיטקטורות מקביליות ובספריות תוכנה של אנבידיה.
כמה המאגר שוקל והאם צריך חומרה יקרה כדי להשתמש בו?
הקבצים עצמם קטנים מאוד ותופסים כ־2.7 מגה-בייט בסך הכל. עם זאת, הרצת הבדיקות דורשת סביבת פיתוח עם כרטיסי מסך תואמים של אנבידיה, בדרך כלל בארכיטקטורה מודרנית עם יכולת חישוב 8.0 ומעלה. חלק מהמשימות דורשות במפורש חומרת מרכזי נתונים ייעודית כדי להתקמפל ולרוץ בהצלחה.
איך הנתונים נאספו והורכבו?
המשימות נבנו בתהליך היברידי ששילב מהנדסים של אנבידיה יחד עם מודלים מסחריים מתקדמים. חלק מהבעיות נכתבו ישירות על ידי אנשי מקצוע, וחלקן נוצרו או שונו בעזרת מודלים של OpenAI ו־Anthropic. כל בעיה, סוויטת בדיקות וסיווג קושי עברו בדיקה ואישור ידני של מהנדס אנושי לפני הפרסום.
איך טוענים
הנתונים מגיעים כארכיבי tar.gz מכווצים בנפח כולל של כ־2.7 מגה-בייט, כך שההורדה מסתיימת תוך שניות ואין צורך באישורי גישה מיוחדים. בפנים תמצאו קובץ metadata.json וקובץ problems.jsonl שמכיל את הנתונים בקידוד UTF-8. כדי להריץ את ההערכה עצמה תצטרכו סביבה מתאימה עם כרטיסי GPU של אנבידיה שתומכים ב־Compute Capability 8.0 ומעלה, גרסת CUDA Toolkit תואמת, ובמקרים מסוימים אפילו חומרת מרכזי נתונים לפי מה שמוגדר בשדה של כל משימה.
from datasets import load_dataset
ds = load_dataset("nvidia/compute-eval")הרישיון
הרישיון הוא רישיון הערכה ייעודי ונוקשה של אנבידיה. נאסר במפורש לאמן על המאגר מודלים מכל סוג, ואסור למכור אותו או להפיץ אותו מחדש. קוד ההרצה של הבנצ'מרק עצמו משוחרר תחת Apache 2.0, ומותר לכם לפרסם דוחות ותוצאות של ביצועי המודלים שבדקתם.