WildClawBench

מה זה

המאגר כולל שישים משימות שנבנו ידנית מאפס, המחולקות לשש קטגוריות: זרימת פרודוקטיביות, תכנות, אינטראקציה חברתית, חיפוש ושליפת מידע, יצירה מולטימודלית, ובטיחות.

במקום לקרוא לפונקציה מבודדת, הסוכן פועל מול מערכת הפעלה מלאה עם גישה לדפדפן, לטרמינל, לקבצים ולדואר אלקטרוני. המשימות דורשות שרשור של עשרות כלים לאורך זמן, כמו סריקת עשרות מאמרים או כתיבת קוד הרצה למודל מתוך תיעוד חסר.

המבחן תומך בארבע סביבות עבודה שונות: OpenClaw, Claude Code, Codex CLI ו־Hermes Agent. המבנה הזה מאפשר לבדוק את אותו המודל על פני מעטפות שונות ולהבדיל בין יכולת המודל לבין איכות התשתית שמפעילה אותו.

מתאים ל

• הערכת סוכנים בסביבה חיה

  בדיקת יכולת המודל לפתור משימות ארוכות ומורכבות בעזרת כלי מערכת הפעלה ודפדפן.

• השוואת מעטפות הרצה

  בדיקת אותו מודל על גבי ארבע סביבות שונות כדי להבין את השפעת התשתית על התוצאה.

• בדיקת עמידות ובטיחות

  הערכת חסינות המודל מפני הזרקת הוראות זדוניות בקבצים וחשיפת מפתחות אבטחה בגיט.

איפה זה נופל

זה לא מאגר לאימון מודלים אלא סט הערכה בלבד. הוא תומך באנגלית ובסינית בלבד, ואין בו שום תמיכה או בדיקה של עברית.

חלק ממשימות החיפוש וההורדה נשענות על תוכן חי מיוטיוב ומהרשת, כך שחסימות בוטים ביוטיוב או שינויים באתרים יכולים לשבור את ההרצה. בנוסף, משימות רבות מכוונות לממשק OpenRouter ודורשות עריכה ידנית של קבצים אם רוצים לעבוד עם שרת מקומי עצמאי.

איך טוענים

המאגר מכיל תמונות דוקר גדולות בפורמט tar וקבצי משימות בתיקיית workspace. מורידים אותם באמצעות huggingface_hub cli וטוענים לדוקר עם docker load.

קוד ההרצה יושב בגיטהאב. צריך להריץ סקריפט הכנה שמוריד סרטוני יוטיוב ומשקולות מודלים, ולהגדיר מפתחות API עבור OpenRouter ומנוע החיפוש Brave Search. אפשר להריץ את כל הסט או משימות בודדות.

from datasets import load_dataset

ds = load_dataset("internlm/WildClawBench")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. אין חובת שיתוף תחת אותו רישיון, ומותר להשתמש בתוצאות או בקוד לבניית מערכות מסחריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗