agent-llm-traces
קוד פתוחExgenticcdla-permissive-2.02026-05-07
המאגר מרכז 1,781 ריצות מלאות של סוכני בינה מלאכותית על פני שישה מבחני ביצועים מוכרים. הוא מספק שקיפות מלאה לזמנים, שימוש בטוקנים, קריאות לכלים ופרומפטים מערכתיים ברמת תקן OpenTelemetry.
- 918הורדות בחודש
- 22לייקים
מה זה
הנתונים כוללים 1,781 רשומות ביצוע המייצגות סשנים מלאים של סוכנים מול שישה מבחנים שונים: AppWorld עם 406 ריצות, SWE-bench עם 391 ריצות, שלושה מבחני שירות של TAU-Bench עם 851 ריצות בסך הכל, ו־BrowseCompPlus עם 133 ריצות. הריצות מבוססות על חמש סביבות הרצה שונות, ביניהן claude_code, smolagents_code ו־openai_solo.
כל רשומה בנויה ממקטעי OpenTelemetry שמפרטים את היסטוריית השיחה המלאה כולל הנחיות המערכת, סכימות הכלים והתוצאות שהוחזרו מהם, זמני התחלה וסיום מדויקים לכל פעולה, ספירת טוקנים לקלט ולפלט, ומצב השגיאה. הניסויים הורצו מול מודלים סגורים כמו Claude Opus 4.5, GPT-5.2 ו־Gemini 3 Pro Preview, לצד מודלים פתוחים כמו DeepSeek-V3.2 ו־Kimi-K2.5.
מתאים ל
- אופטימיזציית עלויות טוקנים
ניתוח צריכת הקלט והפלט בין סביבות עבודה שונות כדי להפחית עלויות של סוכנים אוטונומיים.
- אימון מודלים להפעלת כלים
שימוש ברצפי הכלים והסכימות מתוך ריצות מוצלחות של מודלים מתקדמים לצורך כוונון עדין.
- ניתוח כשלי תקשורת בסוכנים
מחקר על דפוסי כישלון וזמני ריצה של סוכנים במשימות תכנות ותמיכה טכנית מורכבות.
איפה זה נופל
כל הנתונים במאגר נוצרו באנגלית בלבד ומבוססים על סביבות בדיקה סינתטיות ולא על משתמשי קצה אמיתיים. יש פערים גדולים בייצוג: gpt-5.2-2025-12-11 מופיע ב־52 ריצות בלבד לעומת 509 של claude-opus-4-5, וסביבת claude_code תופסת כמעט חצי מכלל הריצות. בנוסף, מודלים מסוימים סבלו משיעורי כשל חריגים בהרצה, למשל Kimi-K2.5 עם 8.32 אחוזי כישלון, וסביבת tool_calling הרגילה הגיעה ל־8.61 אחוזי כישלון. חשוב לבדוק את סינוני השגיאות לפני שמסיקים מסקנות על ביצועים כלליים.
שאלות
נפוצות
האם המאגר כולל שיחות בעברית?
לא, כל הנתונים נאספו מסביבות בדיקה סטנדרטיות באנגלית. המשימות כוללות הנדסת תוכנה, מחקר רשת ושירות לקוחות, כולן מנוסחות באנגלית בלבד.
האם מותר להשתמש במידע כדי לאמן מודל מסחרי?
כן, רישיון cdla-permissive-2.0 מאפשר שימוש מסחרי מלא כולל אימון מודלים והפצה. הדרישה העיקרית היא הכללת הודעת הייחוס ועותק הרישיון לצד המאגר.
מאיפה הנתונים האלה הגיעו בפועל?
החברה הריצה חמישה סוכני קוד וקריאה לכלים מול שישה מבחני הערכה ידועים כמו SWE-bench ו־TAU-Bench. תוך כדי ההרצות היא הקליטה את תעבורת ה־OpenTelemetry של חמישה מודלים שונים.
מה מבדיל את המאגר ממאגרי שיחות רגילים?
במקום רק טקסט סופי, המאגר מספק רישום מלא של מאחורי הקלעים. רואים בו מתי בדיוק הופעל כל כלי, כמה זמן זה לקח, מה הייתה הסכימה שלו ומה הוחזר מהשרת בכל צעד.
איך טוענים
המאגר מפוצל ל־40 קובצי Parquet שונים תחת ספריית data, ללא דרישה לאישור גישה מקדים. אפשר לטעון אותו ישירות באמצעות ספריית datasets של Hugging Face או בעזרת קורא Parquet סטנדרטי. המבנה מבוסס ספציפית על מקטעי עקיבה של OpenTelemetry, כך שחשוב לחלץ מכל שורה את זמני הריצה, נתוני הטוקנים, סכימות הכלים וההודעות המלאות לצורך ניתוח מעמיק של התנהגות הסוכן.
from datasets import load_dataset
ds = load_dataset("Exgentic/agent-llm-traces")הרישיון
המאגר שוחרר תחת רישיון cdla-permissive-2.0. הרישיון מתיר שימוש מסחרי, מחקר, שינוי והפצה של הנתונים כמעט ללא הגבלה, בתנאי ששומרים על נוסח הרישיון המקורי וייחוס ליוצרים. הרישיון אינו כופה שיתוף באותו רישיון ואינו מטיל מגבלות על מודלים שמאומנים על בסיס המידע.