agents-last-exam

מה זה

כל רשומה מייצגת משימה אחת מתוך בנצ'מרק שפותח בברקלי, ומכילה את הפרומפט המלא שהסוכן מקבל, רשימת פעולות חובה, כלי התוכנה שהסביבה צריכה להכיל ותיאור של קובצי הקלט הנדרשים. המשימות מחולקות לתחומים כמו פיננסים ורפואה, ומסווגות לפי ענפים מקצועיים ורמות כמו near-term או last-exam.

המאגר הנוכחי מכיל מטא-דאטה בלבד ולא את קובצי הקלט עצמם. המידע מסודר בפורמט טבלאי נוח, אבל הוא רק חלק ראשון מתוך שלישייה. קובצי הקלט שמוזנים לסוכן יושבים במאגר נפרד, והתוצאות הנכונות שמשמשות לניקוד נעולות במאגר שלישי שדורש אישור גישה ידני.

מתאים ל

• ניתוח פרומפטים לסוכנים

  בדיקת המבנה וההנחיות של משימות מורכבות בעולם האמיתי כדי לנסח פרומפטים טובים יותר לסוכנים שלכם.

• מיפוי סביבות עבודה

  חילוץ רשימות התוכנה והדרישות מתוך שדה ה־software כדי לתכנן מכונות וירטואליות לבדיקת מודלים.

• סינון וסיווג משימות

  פילוח 153 המשימות לפי תחומי ידע ורמות קושי לפני שמחליטים אילו מבחנים מלאים שווה להריץ.

איפה זה נופל

הנתונים קיימים באנגלית בלבד. המגבלה הגדולה ביותר היא שאי אפשר להריץ כאן בדיקה אמיתית מקצה לקצה בלי לחבר את שני המאגרים האחרים, כי המאגר לא כולל קובצי קלט, אימג'ים של מכונות וירטואליות, סקריפטים של בדיקה או את תוצאות האמת. בנוסף, חסר כאן תיעוד של לוגיקת הציונים המקורית ופרטי התקנת הסביבות.

איך טוענים

טוענים את קובץ ה־task_cards.parquet ישירות דרך ספריית datasets או עם pandas. אין צורך באישור גישה כדי לקרוא את הטבלה הזו, והיא פתוחה להורדה מיידית. השדות המרכזיים לעבודה הם task_prompt להנחיית הסוכן, agent_must_do לבדיקת עמידה ביעדים, ו־software שמפרט אילו תוכנות חובה להתקין במכונה לפני שהסוכן מתחיל לפעול.

from datasets import load_dataset

ds = load_dataset("agents-last-exam/agents-last-exam")

הרישיון

הרישיון הוא CC-BY-4.0. מותר להשתמש בנתונים לכל מטרה, כולל אימון מודלים ושימוש מסחרי, כל עוד נותנים קרדיט מתאים למפרסמים. אין חובה לשתף נגזרות או מודלים באותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗