webgym_tasks

מה זה

בפנים יש 292,092 משימות אימון ועוד 1,167 משימות בסט הבדיקה. כל רשומה כוללת הוראה בשפה טבעית כמו חיפוש מידע באתר ספציפי, כתובת יעד, תחום פעילות, רמת קושי מספרית וקריטריונים להערכה שכוללים עובדות ותיאורים לבדיקת ההצלחה. חלק מהרשומות כוללות גם תשובה סופית מוגדרת מראש.

המקורות מגיעים מבנצ'מרקים קיימים של ניווט רשת, כולל mind2web-live, לצד יצירה סינתטית. מיקרוסופט מציינים שחלק מהתיאורים וקריטריוני ההערכה יוצרו בצורה מלאכותית. מתוך כלל המשימות באימון, 33,497 משימות הן תתי משימות מפורקות שנגזרו ממשימות בסיס, והן מקושרות למזהה המקורי שלהן.

מתאים ל

• אימון סוכני רשת

  לימוד מודלים לבצע פעולות מורכבות בדפדפן על פי פקודות טקסט באנגלית.

• הערכת מודלי שפה

  בדיקת יכולת המודל להגיע למידע ספציפי באתרים לפי קריטריוני הערכה מוגדרים.

• פירוק משימות מורכבות

  אימון מערכות לפרק הוראה כללית לתתי משימות ניווט קטנות וממוקדות.

איפה זה נופל

הנתונים כולם באנגלית ומכוונים לאתרים ספציפיים, ללא התאמה לעברית או לאתרים מקומיים. מיקרוסופט מצהירים במפורש שיש כאן מרכיבים סינתטיים במשימות ובקריטריונים, מה שעלול לייצר בדיקות לא מציאותיות. בנוסף, אתרי אינטרנט משתנים ללא הפסקה, ומשימות שנשענות על מבנה של דף חי עלולות להישבר אם האתר שינה עיצוב מאז שהמשימה הוגדרה.

איך טוענים

טוענים את הקבצים ישירות עם ספריית datasets של Hugging Face או כקובצי jsonl מקומיים, train.jsonl ו־test.jsonl. אין צורך באישור גישה מיוחד כדי להוריד. השדות המרכזיים שצריך לשים לב אליהם בריצה הם task_name להוראות הניווט, evaluator_reference שמכיל את רשימת העובדות לבדיקה, ו־task_id שמגיע כמחרוזת כדי לתמוך בסיומות של תתי המשימות המפורקות.

from datasets import load_dataset

ds = load_dataset("microsoft/webgym_tasks")

הרישיון

המאגר מופץ תחת רישיון CDLA-Permissive-2.0. הרישיון מתיר שימוש מסחרי, שינוי ושיתוף של הנתונים כמעט ללא הגבלה, ומחייב רק שמירה על פרטי הרישיון המקוריים. אין דרישה לשתף נגזרות באותו רישיון, ומודל שאומן על החומר אינו מחויב בחשיפת משקלים או קוד.

הרישיון המלא ב־Hugging Face ↗