Taskbench
קוד פתוחmicrosoftmit2024-02-21
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
המאגר כולל אלפי דוגמאות להפעלת כלים ופירוק משימות בגרפים. הוא מתאים למי שבונה סוכנים חכמים וצריך לבדוק יכולת קריאה לכלים מרובים עם תלויות ביניהם.
- 1,204הורדות בחודש
- 38לייקים
מה זה
הנתונים מחולקים לשלושה תחומים נפרדים: כלי HuggingFace עם 12,217 דוגמאות גולמיות, כלי מולטימדיה עם 8,904 דוגמאות, וממשקי API לחיי היומיום עם 7,150 דוגמאות. בכל תחום יש פירוט של הכלים, תיאור גרף התלויות ביניהם, ובקשות המשתמש. המבנה מייצג שלוש רמות מורכבות של זרימת עבודה: קריאה לכלי יחיד, שרשרת כלים עוקבת, וגרף מכוון ללא מעגלים (DAG) שבו יש פיצולים ותלויות מקבילות.
הבנייה נעשתה בשיטה סינתטית הפוכה. החוקרים הגדירו ספריית כלים וגרף תלויות, דגמו מתוכו מסלולים, וביקשו מ־GPT-4 לייצר צעדי ביצוע, בקשת משתמש ופרמטרים תואמים. לאחר מכן הנתונים עברו סינון כפול: מודל שפה וכללים קשיחים שבדקו התאמה לגרף, ולבסוף בדיקה אנושית שאימתה תקינות תחבירית, הוראות ופרמטרים. בתהליך הידני תוקנו שגיאות ונפסלו בין 10 ל־13 אחוזים מהדגימות בכל תחום.
מתאים ל
- הערכת סוכנים מבוססי כלים
בדיקת היכולת של מודל שפה לבחור את הכלי הנכון מתוך גרף תלויות ולחלץ פרמטרים תקינים.
- אימון מודל לפירוק משימות
כוונון עדין למודלים קטנים כדי שילמדו לפרק בקשה מורכבת לרצף צעדים בפורמט DAG מוגדר.
- ולידציה של קריאות API
בחינת תאימות של מודל לשרשור פלטים מקריאה אחת כקלט לקריאה הבאה ללא שבירת תלויות.
איפה זה נופל
כל הטקסטים והכלים בנויים באנגלית בלבד, ואין פה ייצוג לשפות אחרות. מעבר לזה, הבקשות נוצרו באופן סינתטי מתוך הנחיות סגורות שמחייבות שימוש בקבצי דמה כמו example.jpg, כך שהן לא מייצגות את הבלגן, השגיאות והשפה הטבעית של משתמשים אמיתיים. אם אתם בונים מוצר לייצור, תצטרכו לאסוף מידע אמיתי, כי המודלים שלומדים מכאן עלולים להתרגל לתבניות קשיחות מדי שלא מופיעות במציאות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא MIT ולכן מותר לאמן מודלים מסחריים ולהשתמש בנתונים בפיתוח תוכנה. יש לשמור את פסקת הרישיון והקרדיט המקורי של מיקרוסופט במסמכי ההפצה. אין צורך לחשוף את הקוד שלכם.
האם המאגר כולל עברית?
לא, המאגר מוגדר וכולל נתונים בשפה האנגלית בלבד. כל תיאורי הכלים, בקשות המשתמשים ושלבי הביצוע נוסחו באנגלית על ידי מודל שפה. שימוש בעברית ידרוש תרגום של הנתונים או איסוף עצמאי.
איך נאספו הדוגמאות בפועל?
הנתונים לא נלקחו משיחות אמיתיות אלא יוצרו באמצעות GPT-4 לפי גרף כלים שהוגדר מראש. לאחר היצירה, החוקרים הפעילו בדיקות תקינות מבוססות כללים ומודל שפה נוסף. בשלב האחרון בודקים אנושיים סיננו ותיקנו שגיאות תחביר ומבנה.
מה מבדיל את המאגר מבנצ'מרקים רגילים של Tool Use?
רוב המאגרים בודקים בחירה של כלי בודד מתוך רשימה, ואילו כאן הדגש הוא על גרף תלויות מלא. הדוגמאות כוללות שרשראות קריאה ומבני DAG עם תלויות משאבים וזמנים בין הכלים. המאגר בודק גם את פירוק המשימה, גם את סדר הקריאות וגם את חיזוי הפרמטרים.
איך טוענים
המאגר פתוח להורדה ישירה דרך Hugging Face ללא צורך באישור גישה. הקבצים שמורים בפורמט JSON ו־Parquet בתוך תיקיות ייעודיות לכל תחום, למשל data_dailylifeapis ו־data_multimedia. כדי להתחיל לעבוד איתם צריך לטעון את data.json שמכיל את הדוגמאות, או להצליב בין user_requests.json, tool_desc.json ו־graph_desc.json. השדות המרכזיים שמעניינים אתכם הם task_steps, user_request, ומבנה ה־invoking_graph שמפרט את שמות הכלים, הקישורים והפרמטרים המדויקים שנשלחו.
from datasets import load_dataset
ds = load_dataset("microsoft/Taskbench")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הנתונים ואימון מודלים פנימיים או מסחריים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בהפצה. אין חובה לשתף נתונים נגזרים באותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש