KAgentInstruct
קוד פתוחkwaikegcc-by-nc-sa-4.02023-11-17
מעל מאתיים אלף רשומות שמיועדות לאימון מודלים לפעולת סוכנים ושימוש בכלים. זה מתאים למי שרוצה ללמד מודל לתכנן צעדים ולהפעיל פונקציות על בסיס פרומפטים מגוונים.
- 160הורדות בחודש
- 49לייקים
מה זה
המאגר מציע 224,137 מופעים שמבוססים על 120,917 שאילתות ומשלבים 18,005 תבניות שונות. הנתונים מתעדים ריצות של סוכנים, כאשר ממוצע הצעדים לרשומה עומד על 1.85 צעדים. הצוות בנה את הרשומות על ידי הזנת תבניות ושאילתות לתוך לולאת הריצה של הסוכן, והתבסס על פורמטים מוכרים כמו ReAct, AutoGPT, ToolLLaMA, ModelScope לצד תבניות עצמאיות שלהם.
כל רשומה בנויה ממבנה מוגדר הכולל מזהה, שאילתה, מקור הנתונים ורשימת פונקציות בפורמט ג'ייסון עם שמותיהן, למעט במקרים שהגיעו ממקור meta-agent. הליבה היא רשימת האינטראקציות, שבה מתועדים ההוראה, הקלט, הפלט, סוג המודל שיצר את התשובה (gpt-4 או gpt-3.5) ודגל בוליאני שמציין אם התוכן עבר עריכה אנושית.
מתאים ל
- אימון סוכנים להפעלת כלים
לימוד מודלים לפרק משימות לשלבים, לקרוא לפונקציות מתאימות ולטפל בתשובות שהתקבלו מכלים חיצוניים.
- השוואת פורמטים של סוכנים
בחינת תגובות מודל במבנים שונים כמו ReAct לעומת AutoGPT שקיימים יחד באותו מאגר.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של עריכה אנושית מול פלט ישיר של GPT-4 על ביצועי מודלים קטנים במשימות סוכן.
איפה זה נופל
הנתונים כוללים אנגלית וסינית בלבד, ללא שום ייצוג לעברית. אם המטרה היא סוכן דובר עברית, הנתונים האלה לא יעזרו בלי תרגום או התאמה מקיפה. המאגר ממוקד כולו בפעולות סוכן ושימוש בכלים, והיוצרים מציינים במפורש שהוא לא כולל את הנתונים הכלליים שהוזכרו במאמר המקורי שלהם. בנוסף, רוב התוכן נוצר על ידי מודלים של OpenAI בסוף 2023, כך שיש תלות באיכות הפלטים שלהם ובאופן שבו הם יצרו את הצעדים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0 שמונע שימוש מסחרי מכל סוג. הוא מיועד למחקר ולניסויים בלבד.
האם יש תמיכה בשפה העברית?
אין בדאטהסט עברית. השפות היחידות שנתמכות ומתוייגות בו הן אנגלית וסינית.
איך המידע נוצר בפועל?
החוקרים שילבו תבניות מוכרות כמו ReAct ו־AutoGPT לצד תבניות שלהם והריצו שאילתות דרך סוכנים. הפלטים נוצרו על ידי GPT-4 ו־GPT-3.5, וחלקם עברו עריכה אנושית שמתועדת בדאטה.
האם הדאטהסט כולל את כל מה שהוצג במאמר של KwaiAgents?
לא. הכרטיס מציין במפורש שנתונים מסוג כללי (General-type data) שנכללו במאמר אינם נמצאים בקובץ הזה, ויש כאן רק את המידע שנוגע לפעולות הסוכן.
איך טוענים
הקובץ המרכזי שבו נמצא הדאטה נקרא kwaiagent_train_data.json והוא יושב במאגר של Hugging Face ללא צורך בהרשאה מיוחדת. אפשר למשוך אותו ישירות דרך הספרייה או להוריד את הקובץ ישירות מהעץ של המאגר. בזמן העיבוד צריך לשים לב לשדה הפונקציות, שמופיע כמחרוזות שדורשות פענוח ג'ייסון נפרד, ולבדוק את השדה המציין עריכה אנושית אם רוצים לסנן רק דוגמאות שעברו בדיקה.
from datasets import load_dataset
ds = load_dataset("kwaikeg/KAgentInstruct")הרישיון
הרישיון הוא cc-by-nc-sa-4.0. המשמעות ברורה, אסור להשתמש בנתונים האלה לכל מטרה מסחרית. מעבר לזה, חובה לתת קרדיט ליוצרים, וכל עבודה נגזרת או מודל שתאמנו על הבסיס הזה ומפורסם הלאה חייב לצאת תחת אותו הרישיון בדיוק. לחברות שמחפשות דאטה לאימון מודל פרודקשן סגור, זה מחסום מוחלט.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא