VeriWeb
קוד פתוח2077AIDataFoundationapache-2.02025-07-10
המאגר כולל הדגמות אנושיות מוקלטות של חיפושי מידע מורכבים ברשת עם בדיקה של כל שלב בדרך. הוא נבנה במיוחד כדי להעריך סוכני רשת שלא נופלים במשימות ארוכות.
- 1,625הורדות בחודש
- 27לייקים
מה זה
המאגר מציע 302 משימות חיפוש מידע שמחולקות לחמישה תחומים מהחיים האמיתיים. כל משימה מורכבת משרשרת ארוכה של תת משימות שתלויות זו בזו, ומשלבת חיפוש רוחבי ועמוק שדורש מהסוכן לאסוף מידע, להצליב מקורות ולהסיק מסקנות מדפי אינטרנט שונים. במקום לבדוק רק את התוצאה הסופית, המפתחים הגדירו תוצאה קבועה שניתנת לאימות עבור כל שלב ביניים בנפרד.
המבנה של המאגר מחולק לתיקיות לפי משימות. בכל תיקייה תמצאו קובץ data.json שמכיל את תיאור המשימה המלא, פירוק השלבים, התשובות ויומני פעולה מפורטים, לצד קובץ וידאו מסוג mp4 שמתעד את המומחה האנושי שביצע את המסלול במלואו. סך הכל יש במאגר 609 קבצים, והנתונים נאספו ונבדקו ידנית על ידי מומחים אנושיים שתיעדו את כל לחיצות העכבר ומעברי הלשוניות בדפדפן.
מתאים ל
- הערכת סוכני רשת
בדיקת היכולת של מודלים לבצע משימות איסוף מידע רב שלביות ברשת ומעקב אחר נקודות שבהן הם נכשלים.
- אימון שלבי ביניים
שימוש בתת המשימות כדי ללמד מודלים לתכנן צעדים ולהגיע ליעדי ביניים מאומתים לאורך מסלול ארוך.
- למידה מחיקוי פעולות
אימון מודלים מולטי מודאליים על סמך הקלטות הווידאו ויומני הפעולה המפורטים של המומחים האנושיים.
איפה זה נופל
הנתונים כולם באנגלית בלבד, ואין כאן שום ייצוג לשפות אחרות או לאתרים מקומיים. המשימות מוגבלות לאיסוף מידע בדפדפן ולא מכסות אינטראקציה מלאה עם ממשקי שולחן עבודה, תחום שהופרד לפרויקט אחר. בנוסף, מדובר בסך הכל ב־302 משימות, כמות שמתאימה בעיקר לבנצ'מרק ולהערכה ממוקדת ולא לאימון מודלים מאפס.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון Apache 2.0 מאפשר שימוש מסחרי מלא, כולל אימון מודלים ובניית מוצרים על בסיס הנתונים, כל עוד אתם שומרים על הודעת זכויות היוצרים המקורית.
האם המאגר כולל תוכן בעברית?
לא. כל הנתונים, המשימות וההקלטות נאספו באנגלית בלבד. אם המוצר שלכם מיועד לעבודה על אתרים ישראליים, תצטרכו לאסוף או לבדוק נתונים מקומיים בנפרד.
במה הוא שונה מדאטהסטים אחרים של סוכני רשת?
במקום לבדוק רק אם הסוכן הגיע לתשובה הסופית, המאגר הזה מפרק את המשימה לתת משימות עצמאיות עם פלט מוגדר שניתן לאמת בכל נקודה בדרך. זה מאפשר לזהות איפה בדיוק הסוכן טעה.
האם יש כאן אינטראקציה עם תוכנות שולחן עבודה?
לא. למרות שהפרויקט נקרא במקור VeriGUI, המפתחים הבהירו שהחלק הזה מתמקד אך ורק באיסוף מידע באתרי אינטרנט, והתרחישים של שולחן העבודה הופרדו לפרויקט נפרד.
איך טוענים
אין צורך לבקש אישור גישה, המאגר פתוח להורדה ישירה דרך Hugging Face. קחו בחשבון שיש בפנים מאות קובצי וידאו בפורמט mp4 לצד קובצי json, כך שההורדה כבדה בהרבה מדאטהסט טקסטואלי רגיל. המפתחים מספקים גם כלי ויזואליזציה ייעודי ברשת לסנכרון בין קובץ הנתונים לווידאו, כדי שתוכלו לבחון את האירועים והפעולות צעד אחר צעד לפני שאתם מריצים בדיקות על המודל.
from datasets import load_dataset
ds = load_dataset("2077AIDataFoundation/VeriWeb")הרישיון
הרישיון הוא Apache 2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים והמודלים שמאומנים עליהם. אתם נדרשים לשמור על הקרדיט למחברים המקוריים ולציין שינויים אם ביצעתם כאלה, ללא חובת שיתוף של תוצרי הפיתוח תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים