ProfBench
קוד פתוחnvidiaother2025-10-17
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
אפשר גם להריץ אותו בדפדפן בלי להתקין דבר.
זהו בנצ'מרק להערכת מודלים במשימות מורכבות ברמת דוקטורט או תואר שני במנהל עסקים. הוא מכיל מטלות אמיתיות שנבדקו ידנית עם רובריקות שיפוט מפורטות לכל תשובה.
- 345הורדות בחודש
- 29לייקים
מה זה
המאגר כולל 40 רשומות בלבד, אבל כל אחת מהן מייצגת משימה מעמיקה שמגיעה מעולמות הכימיה, הפיזיקה, השירותים הפיננסיים והייעוץ הניהולי. בכל רשומה תמצאו את הפרומפט המקורי, מזהה ייחודי, ותחום מקצועי מוגדר. במקום לתת ציון יחיד, המאגר מספק בין 15 ל־59 קריטריונים שונים של רובריקות לכל משימה, ומציג מעל 3,000 זוגות של רובריקה ותגובה לבדיקה דקדקנית.
איסוף המידע נעשה בשיטה היברידית ששילבה עבודה אנושית, יצירה סינתטית ואוטומציה, כאשר חלקים מסוימים נוצרו בעזרת Grok. התיוג והערכת המשימות בוצעו בידי אדם. בנוסף, כל רשומה כוללת מראש 3 תגובות של מודלים מובילים, OpenAI o3, xAI Grok4 ו־DeepSeek R1-0528, כדי שתוכלו להשוות את הביצועים שלהם לפי אותן רובריקות בדיוק.
מתאים ל
- הערכת מודלים מתקדמים
בדיקת איכות התשובות של מודל שפה במשימות מורכבות של פיזיקה, כימיה ופיננסים מול רובריקות מפורטות.
- השוואת ביצועים מול מתחרים
בחינת פלטים מול תשובות מובנות של מודלים חזקים כמו o3, Grok4 ו־DeepSeek R1 באותן שאלות בדיוק.
- כיול שופט אוטומטי
אימון ובדיקה של מודל שופט על בסיס עשרות קריטריוני הערכה שנכתבו ונבדקו על ידי מומחים אנושיים.
איפה זה נופל
החיסרון המרכזי הוא הכמות: יש כאן רק 40 רשומות, כך שאי אפשר לאמן עליו מודל אלא רק להשתמש בו לבדיקה נקודתית. כל התוכן באנגלית בלבד ואין בו נתונים בעברית או התאמה להקשרים מקומיים. חלק מהדאטה נוצר באמצעות Grok, ולכן ייתכנו הטיות או הזיות שמקורן במודל עצמו. אם אתם בונים שירות לשוק הישראלי, תצטרכו לתרגם ולהתאים את הרובריקות לחוקים ולמונחים המקומיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כן, בעמוד המאגר מצוין במפורש שהוא מוכן לשימוש מסחרי ולא מסחרי. יחד עם זאת, הרישיון הוא NVIDIA Evaluation Dataset License ולא רישיון קוד פתוח רגיל, לכן כדאי לעבור על תנאי הקובץ המצורף לפני השימוש.
האם יש במאגר שאלות או תשובות בעברית?
לא. כל הנתונים מוגדרים באנגלית בלבד. אם תרצו לבדוק מודלים בעברית על המשימות האלה, תצטרכו לתרגם את הפרומפטים ואת עשרות הרובריקות באופן עצמאי.
כמה מקום המאגר תופס במחשב?
נפח האחסון הכולל של המאגר הוא כ־1 מגה בייט בלבד. הוא כולל בסך הכל 4 קבצים ו־40 רשומות, כך שהוא יורד ונטען תוך שניות בודדות לכל סביבת עבודה.
איך המידע הזה נאסף ונבנה בפועל?
האיסוף שילב עבודה אנושית, כלי אוטומציה ויצירה סינתטית, כאשר חלקים מסוימים נבנו באמצעות Grok. התיוג הסופי של הרובריקות והתשובות נעשה בידי אדם על פני ארבעה תחומי התמחות אקדמיים ועסקיים.
איך טוענים
טוענים את הנתונים ישירות מקובץ test.jsonl שנמצא במאגר, ללא צורך באישור גישה מיוחד. נפח האחסון הכולל מזערי ועומד על כ־1 מגה בייט, כך שההורדה מיידית. אנבידיה ממליצה להריץ את ההערכה דרך Nemo Evaluator SDK, אך אפשר לקרוא את הטקסט בכל כלי שתבחרו. השדות המרכזיים לעבודה הם Prompt, Rubrics, Model Responses ו־Domain.
from datasets import load_dataset
ds = load_dataset("nvidia/ProfBench")הרישיון
הרישיון מוגדר תחת NVIDIA Evaluation Dataset License ומופיע בקובץ LICENSE.pdf במאגר. לפי תיאור הכרטיס, החומר מוכן לשימוש מסחרי ולא מסחרי. עם זאת, מדובר ברישיון ייעודי של אנבידיה ולא ברישיון פתוח סטנדרטי כמו MIT או Apache, לכן מומלץ לקרוא את המסמך המצורף לפני שילוב ישיר של הנתונים בתשתיות פיתוח מסחריות.