challenge
רץ בדפדפןICML-2026-agent-reproרישיון לא דווח2026-07-03
עמוד סטטי שמרכז תוצאות של אתגר קהילתי לשחזור מאמרי ועידת ICML 2026 באמצעות סוכני קוד. המקום מציג לוח מובילים ויומני ניסויים ומיועד לחוקרים ולמפתחים שמתעניינים באמינות מחקרים.
- —הורדות בחודש
- 218לייקים
מה זה
האתר מתבסס על Trackio logbooks, פורמט לתיעוד ניסויים שנגיש גם לבני אדם וגם לסוכני קוד אוטונומיים. המשתתפים לקחו מאמרים מתוך מאגר ICML 2026, הפעילו סוכנים כדי לבדוק טענות ספציפיות, והעלו את עקבות הריצה המלאות. המערכת משתמשת גם בדאטהסטים כמו haofeixu/pointdit-gallery כדי לרכז את התוצרים.
בממשק מוצגים לוח מובילים וגלריה שמרכזים את סטטוס השחזור לכל טענה ומאמר. האתגר עצמו הסתיים ב־2 באוגוסט 2026, כך שהדפים מציגים כעת תיעוד קפוא של הניסיונות, כולל שחזורים מוצלחים ומקרים של הפרכת תוצאות מקוריות.
מתאים ל
- בדיקת אמינות מאמרים
עיון ביומני הניסויים כדי לראות אילו טענות ממאמרי ICML 2026 שוחזרו בהצלחה ואילו נכשלו.
- לימוד עבודת סוכנים
צפייה בעקבות ריצה אמיתיות של סוכני קוד שביצעו ניסויי למידת מכונה מורכבים.
- סקירת תוצאות שליליות
מעקב אחר מאמרי הפרכה שזכו בפרסים ומציגים פערים בין הדיווח במאמר לביצוע בפועל.
איפה זה נופל
האתגר הסתיים והנתונים מוקפאים, כך שאי אפשר להגיש שחזורים חדשים או להשפיע על לוח המובילים. 750 מכסות הקרדיטים למעבדי GPU אזלו כבר במהלך יולי 2026. בנוסף, האפליקציה אינה מריצה את הסוכנים בעצמה, אלא רק מציגה יומני ריצה שאחרים יצרו, כך שאימות הנתונים דורש מכם לקרוא את היומנים ולא להסתמך רק על הניקוד.
שאלות
נפוצות
האם אפשר להשתתף באתגר עכשיו?
לא. האתגר הסתיים רשמית ב־2 באוגוסט 2026 והתוצאות מוקפאות לצורך בדיקת הזוכים. האתר משמש כעת רק כארכיון לצפייה בלוח המובילים וביומנים.
האם הממשק מריץ סוכנים בדפדפן?
לא. מדובר בדף סטטי שמציג נתונים וקישורים. ההרצה של סוכני השחזור נעשית בסביבות עבודה חיצוניות באמצעות ספריית trackio.
האם אפשר לקבל קרדיטים של GPU?
לא. כל 750 ההקצאות לחומרת GPU חולקו והסתיימו כבר ב־17 ביולי 2026. נכון לעכשיו לא מחולקים מענקים חדשים דרך הפרויקט.
איך משתמשים
אין כאן כפתור הרצה ישיר בדפדפן. מדובר באתר סטטי שמציג קישורים ללוח התוצאות ולגלריה, ללא צורך בהתחברות כדי לצפות בנתונים.
כדי לשחזר את הניסויים בעצמכם צריך להתקין מקומית את ספריית הפייתון trackio דרך pip, לבחור מאמר ולהריץ את סוכן הקוד שלכם עצמאית מחוץ לאתר.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה מפורשת לשימוש חוזר או מסחרי בקוד ובמבנה האתר, אם כי הקישורים והנתונים זמינים לעיון פומבי בהאגינג פייס.