codex_swebenchpro_traces
קוד פתוחInferactmit2026-05-06
עקבות ריצה מלאים של סוכן קוד על מבחני SWE-bench Pro, כולל מדידות קאש וזמנים. המאגר מיועד למי שבונה תשתיות הרצה או חוקר עומסי עבודה של סוכני תוכנה אוטונומיים.
- 439הורדות בחודש
- 28לייקים
מה זה
הנתונים מתעדים 731 ניסיונות של סוכן codex מול בעיות מתוך SWE-bench Pro על פני 11 מאגרי קוד פתוח מוכרים. מתוכם, 610 ניסיונות הסתיימו בריצה תקינה, וסך הכל נרשמו 20,230 קריאות למודל שפה. הרשומות מציגות יחס חריג של 131 טוקנים של קלט על כל טוקן של פלט, שמשקף עומס שרובו prefill.
לצד צעדי הסוכן, המאגר מספק פירוט מעמיק של התנהגות זיכרון מטמון ברמת התור הבודד ושיעורי פגיעה בקאש שהגיעו לממוצע כולל של 94.2%. יש כאן גם מעקב זמנים שמפריד בין תגובת המודל לזמן ריצת הכלים של הסוכן בסביבה, וכן תיעוד של 120 הניסיונות שנכשלו ברמת התשתית עם סיבות הכשל המדויקות.
מתאים ל
- תכנון תשתיות הרצה לסוכנים
ניתוח דפוסי פגיעה בקאש וזמני השהיה כדי לבנות שרתי הסקה מותאמים לעומסי עבודה ארוכי הקשר.
- אימון מודלים על עקבות סוכן
למידה מהצלחות ומכישלונות של סוכן קוד אמיתי הפועל על מאגרי תוכנה גדולים.
- חקר נקודות כשל בתשתיות
זיהוי צווארי בקבוק בהתקנת סביבות בדיקה מורכבות על בסיס 120 הריצות שנכשלו.
איפה זה נופל
מתוך 731 ריצות, 120 נכשלו לחלוטין בגלל בעיות סביבה עוד לפני שהסוכן הצליח לעבוד. המאגר protonmail/webclients נכשל במאה אחוז מהמקרים בגלל חבילות תוכנה חסרות, ובמאגר teleport כמעט חצי מהריצות נפלו על אותה בעיה. בנוסף, מתוך 610 הריצות שהצליחו טכנית, רק 329 עברו את הבדיקות בהצלחה. המשמעות היא שחלק ניכר מהמידע מכיל ניסיונות שגויים או סביבות שבורות, ולא קוד פתרון מושלם.
שאלות
נפוצות
האם מותר להשתמש בזה לפיתוח מוצר מסחרי?
כן, הרישיון הוא MIT ולכן השימוש פתוח לחלוטין גם למוצרים מסחריים וגם לאימון מודלים. הדרישה היחידה היא שמירת הקרדיט והודעת הרישיון המקורית של Inferact.
האם יש בדאטהסט טקסט בעברית?
לא. מדובר בעקבות ריצה טכניים של קוד, לוגים של מערכת, פקודות מעטפת והנחיות באנגלית מתוך מאגרי קוד בינלאומיים.
איך נאספו הנתונים האלה?
הנתונים הופקו מהרצה אמיתית של סוכן codex מול משימות המבחן של SWE-bench Pro בתוך סביבות בדיקה מבודדות. התיעוד כולל את כל תעבורת הרשת, הטוקנים וזמני התגובה של 731 ניסיונות.
במה הוא שונה ממאגרי עקבות קוד רגילים?
הוא כולל מידע תשתיתי שנדיר למצוא בכרטיסי דאטהסט, כמו אחוזי שימוש בזיכרון מטמון של טוקנים וזמני המתנה בין קריאות כלי. זה הופך אותו ליעיל במיוחד למדידות ביצועים ולא רק לתוכן הקוד עצמו.
איך טוענים
המאגר מכיל קובץ JSON יחיד בשם codex_swebenchpro.json לצד התיעוד, כך שאין צורך באישור גישה מיוחד. טוענים אותו ישירות דרך ספריית datasets של Hugging Face או בקריאת JSON פשוטה בפייתון. לפני שטוענים חשוב לזכור שמדובר בתיעוד ריצות מרובות תורות עם הקשרים שמגיעים עד מעל 180,000 טוקנים, ולכן המבנה הפנימי כבד ומחייב סינון של השדות הרלוונטיים כמו קריאות LLM, נתוני קאש והודעות שגיאה.
from datasets import load_dataset
ds = load_dataset("Inferact/codex_swebenchpro_traces")הרישיון
המאגר מופץ ברישיון MIT חופשי. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים אחרים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף נגזרות באותו רישיון, ומבחינה משפטית מותר לאמן עליו מודלים מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש