arc-agi-3-schema-traces
קוד פתוחschema-harnessרישיון לא דווח2026-07-16
עקבות ריצה מלאים של מודלים מתקדמים הפותרים שלבים במבחן ARC-AGI-3, כולל אירועים ויומני פעולה. זה מיועד לחוקרים שרוצים לנתח התנהגות סוכנים צעד אחר צעד במקום רק לראות ציון סופי.
- 2,740הורדות בחודש
- 36לייקים
מה זה
המאגר מכיל 50 מסלולי ריצה מלאים של סוכנים, מחולקים שווה בשווה בין שני אוספים. החלק הראשון מציג 25 ריצות של מודל GPT-5.6 Sol, והשני כולל 25 ריצות של המודלים Claude Opus 4.8 ו־Claude Fable 5. הנתונים מתעדים פתרון סביבות משחק מורכבות ומאפשרים לבחון את תהליך ההסקה בזמן אמת.
המבנה הפנימי מורכב מתיקייה לכל ריצה, ובה קובץ run.json, יומן אירועים מוזרם בשם events.jsonl, נתוני סשן שעברו ניקוי, צילומי מצב, וקבצי טקסט ותמונה שנוצרו בריצה. בנוסף, המאגר כולל קובץ baseline_actions.csv עם נתוני בסיס מביצועי אנוש, שני קובצי evaluation_results.csv שמרכזים את התוצאות, ותסריט פייתון לחישוב מדד RHAE המודד יעילות פעולות מול אדם.
מתאים ל
- ניתוח מסלולי הסקה
מעקב אחרי קובצי האירועים כדי לראות איך מודלים מתקנים שגיאות ומתכננים צעדים בסביבות לוגיות.
- כיול ציוני סוכנים
השוואת ביצועי מודל חדש מול קובץ הבסיס האנושי וחישוב מדד RHAE בעזרת הסקריפט המובנה.
- מחקר על פעולות מול אדם
בדיקת יעילות מספר הפעולות שסוכנים שונים צורכים לעומת בני אדם בכל שלב של ARC-AGI-3.
איפה זה נופל
זהו אוסף קטן מאוד של 50 ריצות בלבד, כך שהוא לא מתאים לאימון מודלים מאפס אלא בעיקר לבנצ'מרק, ניתוח איכותני או בדיקות התנהגות. המאגר מתמקד כולו במשימות חזותיות ולוגיות של ARC-AGI-3 באנגלית, ללא נתונים בעברית, ואין בו שום פירוט על שיטת הסינון של הריצות מלבד ציון היותן נקיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ כרגע. היוצרים לא צירפו רישיון שימוש, מה שאומר שאין הרשאה חוקית ברורה למסחור או אימון מודלים מסחריים.
האם המאגר כולל נתונים או טקסט בעברית?
לא. כל הנתונים, המטא-דאטה, יומני הריצה והוראות המשימה מבוססים על אנגלית וייצוגי סביבה טכניים בלבד.
מה ההבדל בין המאגר הזה למאגרי ARC רגילים?
רוב המאגרים נותנים רק את מצבי הקלט והפלט של החידות. כאן מקבלים את עקבות הריצה המלאים של המודל לאורך זמן, כולל כל פעולה ואירוע שקרו בדרך לפתרון.
איך מחשבים את הציון של הריצות?
מריצים את הקובץ score_trajectories.py מתוך התיקייה הראשית. הוא עובר על כל קובצי ה־JSONL ומחשב את ציון ה־RHAE שמשווה את מספר הפעולות לביצועי בני אדם.
איך טוענים
אין כאן צורך בהתקנת ספריות חיצוניות או אישור גישה מיוחד. מורידים את המאגר שכולל 1,058 קבצים, ומשתמשים ישירות בפייתון 3.10 ומעלה עם הקובץ score_trajectories.py. הסקריפט קורא את קובצי ה־events.jsonl המוזרמים, משחזר את מוני הפעולות לכל שלב, ומאמת אותם מול קובצי ה־CSV המצורפים.
from datasets import load_dataset
ds = load_dataset("schema-harness/arc-agi-3-schema-traces")הרישיון
היוצרים לא דיווחו על רישיון כלל. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות להם, ואין הרשאה מפורשת לשימוש מסחרי, הפצה מחדש או אימון מודלים מסחריים על בסיס הנתונים. אם אתם בונים מוצר מסחרי, מומלץ להימנע משימוש ישיר עד להסדרת הרישוי מול המפרסם.