agent-leaderboard
קוד פתוחgalileo-aiapache-2.02025-02-11
יש כאן גם סקירה על Galileo AI עצמו.
אפשר גם להריץ אותו בדפדפן בלי להתקין דבר.
מאגר מבחנים לבדיקת היכולת של סוכני בינה מלאכותית להפעיל כלים ולקרוא לפונקציות. הוא מרכז דגימות מתוך ארבעה בנצ׳מרקים מובילים כדי להשוות מודלים בתרחישים מורכבים.
- 98הורדות בחודש
- 33לייקים
מה זה
המאגר מאגד מבחנים שנועדו להעריך מודלי שפה על שימוש בכלים. הנתונים לא נאספו מאפס אלא נדגמו מתוך ארבעה מקורות קיימים: BFCL שמתמקד במתמטיקה, בידור ואקדמיה, tau-bench עם תרחישי שירות לקוחות בתחומי קמעונאות ותעופה, xLAM של סיילספורס שמכסה 21 תחומים, ו־ToolACE שכולל אינטראקציות API ב־390 תחומים שונים.
מבנה הקבצים מציג חלוקה מפורטת של תרחישי בדיקה, בעיקר סביב BFCL v3. בין הפיצולים תמצאו קריאות מרובות שלבים, קריאות מקבילות למספר פונקציות, קריאה בודדת, תרחישים עם הקשר ארוך, וגם מקרי קצה כמו פרמטרים חסרים, פונקציות חסרות או בקשות שאינן רלוונטיות לכלים הקיימים. המטרה היא לבדוק איכות בחירת כלים ומענה בתנאי אמת.
מתאים ל
- הערכת מודלים בהפעלת API
הרצת בדיקות השוואתיות לבחינת דיוק המודל בבחירת הפונקציה הנכונה ושליחת הפרמטרים המתאימים.
- בדיקת חוסן למקרי קצה
בחינה של תגובת הסוכן כשהמשתמש מבקש פעולה ללא פרמטרים מספקים או כשחסר כלי מתאים.
- מבחן ביצועים בשיחה מרובת שלבים
מדידת יכולת המודל לשמור על הקשר ולבצע סדרת קריאות מתמשכת לאורך אינטראקציה ארוכה.
איפה זה נופל
הנתונים כולם באנגלית בלבד. אם המוצר שלכם צריך לתפעל כלים מתוך פקודות בעברית, המאגר הזה לא ייתן לכם שום אינדיקציה ליכולות המודל. בנוסף, מדובר בדגימה מתוך בנצ׳מרקים קיימים ולא בדאטה מקורי מתוך סביבות ייצור אמיתיות של משתמשים. המאגר מתאים בעיקר ככלי הערכה והשוואה, ולא כסט לאימון מלא של סוכן אוטונומי.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא Apache 2.0, שמאפשר שימוש מסחרי, שינוי והפצה. נדרש רק לשמור על תנאי הייחוס והודעת הרישיון.
האם יש במאגר דוגמאות בעברית?
לא. כל הנתונים במאגר מוגדרים באנגלית בלבד. אם אתם בונים סוכן שמקבל הוראות בעברית, תצטרכו לתרגם את הדוגמאות או לאסוף מידע עצמאי.
מה ההבדל בין המאגר הזה לבין BFCL או ToolACE המקוריים?
המאגר הזה מאחד דגימות מתוך כמה מקורות נפרדים למקום אחד ומסדר אותם לפי קטגוריות כשל ותרחישים. הוא נועד לתמוך במדד השוואתי אחיד במקום להריץ כל בנצ׳מרק בנפרד.
איך טוענים
הנתונים מחולקים ל־17 קבצים בתצורת Parquet, ואין צורך בהרשמה מיוחדת או אישור גישה כדי להוריד אותם מספרייית הדאטהסטים. אפשר לטעון ישירות באמצעות הספרייה של Hugging Face לפי שם המאגר galileo-ai/agent-leaderboard. הקבצים מופרדים לפי קטגוריות הבדיקה השונות, כך שכדאי לבחור מראש את הפיצול הרלוונטי לתרחיש שלכם, למשל טיפול בפרמטרים חסרים או ריבוי שלבים.
from datasets import load_dataset
ds = load_dataset("galileo-ai/agent-leaderboard")הרישיון
המאגר פורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש חופשי, כולל שימוש מסחרי, שינוי והפצה, ללא חובה לשתף את הקוד או המודל תחת אותו רישיון. התנאי העיקרי הוא מתן קרדיט ושמירה על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים