APEX-v1-extended
קוד פתוחmercorcc-by-4.02025-11-18
מבחן ביצועים מקצועי שבודק מודלים על משימות מורכבות בעריכת דין, רפואה, ייעוץ ובנקאות השקעות. מיועד למי שרוצה למדוד יכולות עבודה אמיתיות מול רובריקות מומחים.
- 1,187הורדות בחודש
- 16לייקים
מה זה
המאגר כולל משימות שפותחו על ידי 76 אנשי מקצוע עם ממוצע של מעל שבע שנות ניסיון מחברות כמו מקינזי, גולדמן זאקס ומשרדי עורכי דין מובילים. כל מקרה מורכב מהנחיה לפעולה, מסמכי מקור כמו פסקי דין בקובצי PDF, ומחוון ציונים מפורט שכולל קריטריונים נקודתיים למעבר או כישלון. לפי הכותבים, ביצוע ידני של כל משימה כזו לוקח לאיש מקצוע מנוסה יותר משעתיים וחצי בממוצע.
בסך הכל המבחן כולל 400 משימות במבחן מוסתר שמשמש ללוח התוצאות הרשמי, עם 100 מקרים לכל אחד מארבעת התחומים. לצד המבחן המוסתר, המאגר הפתוח כאן מספק סט פיתוח של 100 משימות שנועד לבדיקות מקומיות והרצה עצמאית דרך כלי ההערכה של הפרויקט.
מתאים ל
- בדיקת יכולת בעריכת דין
הרצת מודל מול תיקי פסיקה ומסמכי מקור באנגלית כדי לבחון ניתוח משפטי לפי רובריקה מוגדרת.
- מדידת מענה רפואי ראשוני
בחינת יכולת ההסקה של מודלים מול תרחישים קליניים שנכתבו על ידי רופאים מוסמכים.
- השוואת ביצועים פיננסיים
הערכת תפוקה במשימות של בנקאות השקעות וייעוץ אסטרטגי מול מבחן שדורש ניתוח כמותי.
איפה זה נופל
זהו מאגר באנגלית בלבד שמבוסס על פרקטיקות עסקיות, מערכת המשפט ורפואה בארצות הברית. אין כאן התאמה לדין הישראלי, למינוח מקומי או לשפה העברית. מעבר לכך, היוצרים אוסרים במפורש להשתמש בנתונים לאימון, לכוונון עדין או לסריקה אוטומטית, ומגבילים את השימוש להערכת מודלים בלבד. הבדיקה מסתמכת על מודל שופט יחיד, מה שעלול לייצר הטיות בציון הסופי אם השופט מפספס דקויות מקצועיות.
שאלות
נפוצות
האם מותר לאמן על הדאטהסט מודל מסחרי?
לא. למרות שהרישיון הטכני הוא ברישיון פתוח, בעלי המאגר כתבו במפורש בדף הנתונים שחל איסור מוחלט על אימון, כוונון עדין או התאמת פרמטרים. המאגר מוגדר לצורכי הערכה בלבד.
האם הדאטהסט כולל תמיכה בעברית?
לא, כל המסמכים, ההנחיות ורובריקות הבדיקה כתובים באנגלית בלבד. המשימות מבוססות על המערכת המשפטית, העסקית והרפואית האמריקאית ולא מותאמות לישראל.
איך נקבע הציון לכל מודל במבחן?
כל משימה נבדקת מול רובריקה עם קריטריונים של עבר או נכשל בעזרת מודל שופט, ספציפית ג'מיני 2.5 פרו עם חשיבה מופעלת. המערכת מריצה שמונה סבבים לכל משימה ומחשבת את אחוז הקריטריונים שהמודל עמד בהם.
מה ההבדל בין מה שיש כאן לבין לוח התוצאות הרשמי?
בדף הפתוח זמין סט פיתוח של 100 משימות בלבד לצד מסמכי מקור בפורמט פידיאף. לוח התוצאות המלא מבוסס על 400 משימות מוסתרות שאינן גלויות לציבור, במטרה למנוע דליפת מידע למודלים.
איך טוענים
טוענים את הנתונים ישירות בספריית datasets עם הפקודה load_dataset("mercor/APEX-v1-extended"). המאגר מכיל פחות מאלף רשומות ומחולק לקובץ נתונים ראשי בפורמט CSV ולתיקיית מסמכים עם כמאתיים קבצים, רובם מסמכי PDF שמשמשים כחומר רקע למשימות המשפטיות והפיננסיות. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים הפתוחים.
כדי להריץ את ההערכה עצמה צריך להשתמש בקוד הייעודי שפורסם בגיטהאב, ולהגדיר מפתחות גישה למודל שופט מסוג Gemini 2.5 Pro עם מצב חשיבה פועל. המערכת בודקת את התשובות מול המחוון שמונה פעמים לכל משימה ומחשבת את אחוז הקריטריונים שהתקבלו.
from datasets import load_dataset
ds = load_dataset("mercor/APEX-v1-extended")הרישיון
הרישיון הרשמי שמופיע במטא-דאטה הוא CC-BY 4.0, שבאופן רגיל מתיר שימוש מסחרי, שינוי והפצה כל עוד נותנים קרדיט מתאים. עם זאת, יוצרי המאגר הוסיפו הגבלות מפורשות בטקסט: הם אוסרים לחלוטין לאמן על הנתונים או להשתמש בהם לשיפור פרמטרים של מודלים. במצב של סתירה כזו, אימון מודל מסחרי על המאגר חושף אתכם לסיכון משפטי ברור.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס