AgentBank
קוד פתוחSolaris99apache-2.02024-10-10
המאגר מרכז שורת מבחני ביצוע מוכרים שהוסבו לפורמט שיחה מובנה. אם אתם מאמנים סוכן לפקודות מסוף, גלישה או פתרון בעיות מורכבות, כאן הכל כבר אחיד.
- 1,050הורדות בחודש
- 23לייקים
מה זה
הנתונים מורכבים מתשעה עשר קונפיגורציות שונות, שכל אחת מהן מייצגת סביבה או מבחן ביצוע מקובל בתחום הסוכנים. בין המקורות תמצאו סביבות אינטראקטיביות כמו webshop, webarena, alfworld ו,mind2web לצד משימות קוד ומתמטיקה קלאסיות כמו humaneval, apps, gsm8k ו,intercode sql.
בסיס המבנה בכל הקבצים זהה לחלוטין. כל דוגמה כוללת מזהה ייחודי ומערך שיחות של דובר ותוכן. בחלק מהמשימות, כמו intercode bash ו,math, יש שדה מטא דאטה עם פרטי הסביבה והמזהה המקורי, וב,alfworld שמור נתיב קובץ המשחק. כרטיס המאגר לא מפרט תהליכי סינון או ניקוי שבוצעו על הטקסטים המקוריים.
מתאים ל
- אימון סוכני קוד ומסוף
כוונון עדין למודלים שצריכים להריץ פקודות bash, לכתוב שאילתות sql או לפתור בעיות תכנות.
- ניווט ופעולות רשת
לימוד מודלים לבצע פעולות רכישה וחיפוש מורכבות על בסיס נתוני mind2web ו,webshop.
- הסקה מתמטית רב שלבית
בניית יכולות פתרון בעיות צעד אחר צעד על בסיס gsm8k ו,mathqa במבנה שיחה אחיד.
איפה זה נופל
הכרטיס ריק מהסברים על אופן ההמרה, מה שמשאיר את איכות הנתונים בערפל. לא ברור אם השיחות נוצרו על ידי מודלים מסחריים כמו GPT או שהוקלטו מריצות אנושיות, ואין מילה על סינון תגובות שגויות. הכל מבוסס על סביבות ומבחנים באנגלית, כך שאין כאן שום התאמה ישירה לעברית. לפני שדוחפים את זה לאימון, חייבים לדגום את השיחות ידנית כדי לוודא שאין הזיות בצעדי הפעולה.
שאלות
נפוצות
האם מותר להשתמש בנתונים לפיתוח מוצר מסחרי?
הרישיון המוצהר במאגר הוא apache 2.0, שמתיר שימוש מסחרי מלא בלי דרישה לחשוף את הקוד שלכם. עם זאת, מכיוון שמדובר באוסף שמקורו במאגרי מחקר שונים, כדאי לבדוק את תנאי המקור של סביבות כמו webarena לפני שיוצאים לשוק.
האם יש במאגר דוגמאות בעברית?
לא. כל המשימות, פקודות הקוד ותרחישי הגלישה מבוססים על בנצ'מרקים בינלאומיים שנבנו כולם באנגלית בלבד.
כמה שוקל הדאטהסט והאם נדרש שרת חזק להורדה?
המאגר קל מאוד. נפח ההורדה של כל הקונפיגורציות יחד עומד על כמה עשרות מגה בייטים בודדים בפורמט parquet, כך שניתן לטעון ולבדוק אותו על כל מחשב אישי תוך שניות.
מה מייחד אותו לעומת המאגרים המקוריים של המבחנים?
הוא חוסך את הצורך לכתוב קוד עיבוד ייעודי לכל סביבה בנפרד. כל המקורות השונים הומרו לאותו מבנה שיחה גנרי של תורות דיבור, מה שמפשט משמעותית את צינור האימון.
איך טוענים
טוענים ישירות דרך ספריית datasets על ידי ציון שם המאגר והקונפיגורציה המבוקשת. אין כאן קובץ ענק אחד, אלא 21 קבצי parquet נפרדים במשקל הורדה כולל של עשרות מגה בייטים בודדים. אין צורך באישור גישה או מפתח מיוחד, פשוט בוחרים את התחום הרלוונטי ומושכים את מערך השיחות.
from datasets import load_dataset
ds = load_dataset("Solaris99/AgentBank")הרישיון
המאגר מופץ תחת רישיון apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה, ובלבד שתשמרו על תנאי הייחוס והצהרת הרישיון. שימו לב שהנתונים עצמם מגיעים ממבחנים שונים, ולכן יש לוודא שהמקורות המקוריים אינם מתנגשים עם השימוש שאתם מתכננים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים