workbuddy-bench
קוד פתוחtencentother2026-07-10
חבילת משימות ממוקדת לבדיקת סוכני תוכנה מול סביבות עבודה אמיתיות. המאגר כולל בדיקות אוטומטיות מלאות לתרחישי קוד, אבטחה, ווב ומסמכים משרדיים.
- 3,192הורדות בחודש
- 18לייקים
מה זה
טנסנט חילקה את המאגר לארבעה קובצי ארכיון נפרדים שכוללים יחד 260 משימות בלבד. כל משימה מגיעה כתיקייה עצמאית עם הוראות בפורמט מרקדאון, קובץ הגדרות, סביבת הרצה מוכנה לדוקר עם קוד מקור, ומערך בדיקות אוטומטי שמודד אם השינוי של הסוכן עבר בהצלחה.
החלוקה הפנימית מוגדרת היטב לפי תחומי עיסוק. יש 80 משימות תכנות ברמת מאגר קוד שלם, 70 משימות ווב שמתמקדות בפיתוח ממשקי משתמש, 60 משימות אבטחת מידע שמכסות תרחישי תקיפה והגנה, ועוד 50 משימות משרדיות שמטפלות בעיבוד קבצים ונתונים.
הכרטיס לא מפרט מאיזה מקורות הגיעו המשימות האמיתיות, מי בדיוק בחר אותן או באיזה אופן הן סוננו. כל הנתונים מוגשים בארבעת הקבצים הדחוסים לצד קובץ גיבוב לאימות תקינות ההורדה.
מתאים ל
- הערכת סוכני תכנות
בדיקת יכולת המודל לתקן באגים בקוד מקור ולהריץ בדיקות יחידה בתוך קונטיינר ייעודי.
- מבחני משימות אבטחה
בחינת תפקוד הסוכן בזיהוי ותיקון חולשות אבטחה מול סביבות תקיפה והגנה מוגדרות מראש.
- מדידת ביצועי ממשק ווב
הרצת משימות פיתוח צד לקוח בטכנולוגיות דפדפן סטנדרטיות ובדיקת התוצאה מול הציפיות.
איפה זה נופל
ההערכה מוגבלת לשפות אנגלית וסינית, ואין כאן מילה אחת בעברית. עם 260 משימות בסך הכל זהו אינו מאגר לאימון מודלים אלא מבחן בלבד, ומדגם כל כך קטן עלול לייצר התאמת יתר מהירה. הכרטיס לא מוסר מידע על תאריכי הדגימה, הטיות אפשריות או גרסאות הספריות בפרויקטים.
שאלות
נפוצות
האם המאגר מתאים לאימון מודלים?
לא. יש בו רק 260 משימות שמיועדות להרצה בסביבת בדיקה מבוססת דוקר. הוא נועד למדוד ביצועים של סוכנים קיימים ולא לבנות בסיס ידע למודל שפה.
האם יש במשימות תמיכה בעברית?
הכרטיס מגדיר תמיכה באנגלית ובסינית בלבד. כל ההוראות והקוד בנויים סביב שפות אלו, ואין התייחסות לממשקים מימין לשמאל או לטקסטים בעברית.
מותר להשתמש במשימות האלו במוצר מסחרי?
הרישיון מסומן כאחר ולא מצוין רישיון קוד פתוח ידוע. כל שימוש מסחרי מחייב בדיקה של קובצי הרישיון בגיטהאב של הפרויקט כדי למנוע חשיפה משפטית.
איך טוענים
אי אפשר לטעון את הנתונים ישירות דרך פקודת הדאטהסטים הרגילה של פייתון. מורידים את קובצי הטאב והגאז מארבעת התחומים, פותחים אותם מקומית ומריצים אותם אך ורק דרך מערכת ההערכה של הפרויקט בגיטהאב. הגישה חופשית לגמרי וללא צורך באישור, אבל תצטרכו להפעיל דוקר כדי להרים את סביבות הריצה המבודדות של כל משימה ולבדוק את הפלטים.
from datasets import load_dataset
ds = load_dataset("tencent/workbuddy-bench")הרישיון
הרישיון הרשמי מוגדר כאחר. המשמעות היא שטנסנט לא בחרה ברישיון קוד פתוח סטנדרטי ואי אפשר לדעת מהכרטיס אם מותר להשתמש במאגר לפיתוח מסחרי או לשילוב במוצרים. לפני שנוגעים בקוד או מאמנים מודל על הנתונים, צריך לגשת למאגר בגיטהאב ולקרוא את תנאי הרישיון המדויקים שנמצאים שם.