ZClawBench
קוד פתוחzai-orgmit2026-03-18
בנצ'מרק ייעודי להערכת סוכני בינה מלאכותית בסביבת OpenClaw דרך תרחישי קצה לקצה. הוא בודק ביצוע משימות אמיתיות כמו אוטומציה משרדית, חיפוש מידע ותפעול כלים במקום שיחות טקסט רגילות.
- 285הורדות בחודש
- 34לייקים
מה זה
המאגר מכיל 116 מקרי מבחן שמיועדים לבדיקת יכולות של סוכנים אוטונומיים. המשימות מחולקות לשישה תחומים מרכזיים: משימות משרד ויומיום עם 35 מקרים, איסוף וחיפוש מידע עם 22 מקרים, אוטומציה עם 20 מקרים, פיתוח ותשתיות עם 19 מקרים, וכן ניתוח נתונים ואבטחה עם 10 מקרים בכל תחום. מתוכם, 35 משימות מחייבות את הסוכן להפעיל כלים וכישורים חיצוניים כדי להגיע לפתרון.
כל הדוגמאות נבנו ידנית או יוצרו באופן סינתטי. יוצרי המאגר מצהירים במפורש שלא השתמשו במידע חי מסביבות ייצור או בנתוני משתמשים אמיתיים. שמות של חברות, ארגונים ובני אדם הוחלפו כולם בישויות מומצאות כדי להימנע מבעיות פרטיות וזכויות יוצרים.
מבנה הנתונים בפיצול האימון כולל את מזהה המשימה, קטגוריית התרחיש, שם המודל שנבדק ונתיב הריצה המלא של הסוכן במהלך פתרון הבעיה.
מתאים ל
- מדידת ביצועי סוכנים
הרצת בדיקות השוואתיות של מודלי שפה בתרחישי הפעלת כלים ואוטומציה.
- בדיקת מסלולי ריצה
ניתוח שלבי קבלת ההחלטות והקריאות לממשקים מתוך נתיבי הריצה.
- כיול שופטי בדיקה
בניית מערכות הערכה אוטומטיות שמשוות פלטים מול בדיקות סקריפט.
איפה זה נופל
החיסרון המרכזי הוא גודל המדגם, 116 משימות בלבד, מה שהופך אותו לכלי הערכה בלבד ולא למקור נתונים לאימון מודלים. בנוסף, כל הנתונים סינתטיים ואינם משקפים תקלות אמיתיות של משתמשי קצה. המאגר מוגבל לשפות אנגלית וסינית, ואין בו שום תוכן בעברית. חלק מהסביבות מנוהלות באמצעות ממשקים מדומים שמחזירים תשובות קבועות מראש, כך שהסוכן לא נבדק מול חוסר יציבות של שירותי רשת אמיתיים.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצרים מסחריים?
כן, הרישיון שבו פורסם המאגר הוא MIT. הרישיון הזה מתיר שימוש מסחרי חופשי, עריכה ושילוב של החומרים בכל סוג של פרויקט. החובה היחידה שלכם היא לצרף את תנאי הרישיון המקוריים ואת הודעת הייחוס של היוצרים.
האם הדאטהסט מתאים לאימון מודל שפה?
לא, המאגר הזה קטן מדי לאימון ומכיל רק 116 מקרים. המטרה שלו היא לשמש מדד ביצועים והערכה למערכות סוכנים ולא סט נתונים לפיין טיונינג. אם אתם מחפשים חומרי הדרכה לסוכנים, תצטרכו מאגרים רחבים בהרבה.
האם יש בדאטהסט תמיכה בעברית?
לא, השפות שמוגדרות במאגר הן אנגלית וסינית בלבד. כל המשימות, ההוראות והסביבות המדומות בנויות סביב שפות אלה. כדי לבדוק סוכן בעברית תצטרכו לתרגם את המשימות ולהתאים את ממשקי הבדיקה.
מאיפה הגיעו הנתונים שבפנים?
כל המשימות נוצרו ידנית על ידי הצוות או סונתזו באופן אוטומטי. המפתחים לא השתמשו בנתוני גלישה אמיתיים או במידע של משתמשים חיים. כל הפרטים המזהים, כמו שמות של אנשים וארגונים, הומצאו כדי למנוע חשיפת פרטיות.
איך טוענים
הטעינה נעשית ישירות דרך ספריית הנתונים של Hugging Face בפקודה load_dataset עם המזהה zai-org/ZClawBench ללא צורך באישור גישה מראש. הקובץ העיקרי במאגר מגיע בפורמט parquet כחלק מפיצול train יחיד. השדות המרכזיים שחשוב לשלוף לצורך ניתוח הם trajectory שמציג את רצף הפעולות של המודל, לצד model_name וקטגוריית התרגיל.
from datasets import load_dataset
ds = load_dataset("zai-org/ZClawBench")הרישיון
הרישיון הוא MIT, מה שנותן חופש כמעט מוחלט לשימוש מסחרי ומחקרי. אתם יכולים לשלב את הנתונים במוצרים סגורים, לשנות אותם ולאמן עליהם מודלים ללא חובת שיתוף של הקוד שלכם. הדרישה היחידה היא שמירת הקרדיט והודעת הרישיון המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש