terminal-bench-2-leaderboard
קוד פתוחharborframeworkapache-2.02025-12-24
המאגר כולל תוצאות הרצה והגשות של סוכנים עבור לוח המובילים של Terminal-Bench 2.0. הוא מתאים למי שרוצה לנתח ביצועים של מודלים ומערכות קוד פתוחות במשימות טרמינל.
- 6,870הורדות בחודש
- 36לייקים
מה זה
זהו מאגר הגשות עבור לוח המובילים של Terminal-Bench 2.0, ולא קובץ נתונים קלאסי לאימון טקסט. המידע בפנים מורכב מתיקיות של ריצות וניסויים שמשתמשים שלחו דרך בקשות משיכה. כל הגשה ממוקמת תחת נתיב של סוכן ומודל, ומכילה קובץ הגדרות, קובצי תוצאות של ניסויים וקובץ מטא-דאטה עם פרטי המודלים והארגון.
המבנה הפנימי מחייב לפחות חמישה ניסויים לכל משימה, ומכיל את תוצרי הריצה לצד קובצי תצורה בפורמט JSON. הנתונים לא נאספו כדגימות שפה מהרשת, אלא הגיעו ישירות מריצות של סוכנים שנבדקו תחת כללי אימות מחמירים, ללא שינוי בהקצאת המשאבים או בזמני הריצה המוגדרים.
מתאים ל
- השוואת ביצועי מודלים
ניתוח קובצי התוצאות מאפשר לבדוק אילו מודלים וסוכנים הגיעו לביצועים הטובים ביותר במשימות טרמינל שונות.
- בדיקת מסלולי ריצה
מעבר על תוצרי הניסויים בכל תיקיית ריצה כדי להבין היכן סוכנים נכשלו וכיצד הם פעלו בזמן אמת.
- מחקר על התנהגות סוכנים
שימוש בנתוני הבדיקות כדי לזהות דפוסי פעולה וטעויות נפוצות של מערכות אוטונומיות בסביבת פקודה.
איפה זה נופל
ההגשות למאגר סגורות כרגע, כך שאי אפשר להוסיף תוצאות חדשות עד לעדכון התהליך. בנוסף, מדובר ביומני ריצה ובתוצאות של משימות טרמינל ספציפיות, כך שאין כאן מידע טקסטואלי רחב, אין נתונים בעברית, והחומר אינו מתאים כלל לאימון של מודל שפה כללי אלא רק לניתוח ביצועים של סוכנים.
שאלות
נפוצות
האם המאגר מתאים לאימון מודל שפה חדש?
לא. מדובר בתוצאות הרצה, יומני בדיקות וקובצי תצורה של סוכנים מול מבחן ביצועים. אין כאן קורפוס טקסטואלי או דאטהסט סטנדרטי של שאלות ותשובות.
האם מותר להשתמש במידע הזה בפרויקט מסחרי?
כן, הרישיון המדווח הוא Apache 2.0. מותר להשתמש בנתונים לצרכים מסחריים, בכפוף למתן ייחוס ושמירה על תנאי הרישיון המקוריים.
האם יש במאגר נתונים בעברית?
לא. המאגר מכיל פקודות מערכת, הגדרות טכניות, שמות מודלים ופלט של טרמינל באנגלית בלבד.
האם אפשר להגיש תוצאות ריצה חדשות למאגר כרגע?
לא, ההגשות סגורות כרגע לפי הודעת המנהלים. כל בקשות המשיכה שנפתחו לפני מאי נבדקו, ותהליך חדש אמור להתפרסם בהמשך.
איך טוענים
הגישה למאגר פתוחה תחת רישיון חופשי, ללא צורך בהרשאת גישה מיוחדת. מושכים את הקבצים ישירות באמצעות Git או דרך ממשק Hugging Face. המידע מחולק לתיקיות לפי סוכן ומודל, וכדי לעבד אותו תצטרכו לקרוא את קובצי ה־JSON של כל ריצה לצד ה־metadata.yaml שמרכז את שמות המודלים והספקים.
from datasets import load_dataset
ds = load_dataset("harborframework/terminal-bench-2-leaderboard")הרישיון
המאגר מפורסם תחת רישיון Apache 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובת שיתוף באותו רישיון, ומודל או כלי שמנתח את הנתונים הללו אינו מחויב להיפתח כקוד פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים