MCP-Atlas
קוד פתוחScaleAIcc-by-4.02025-12-12
בנצ'מרק לבדיקת סוכנים מול שרתי MCP אמיתיים. אם אתם בונים מודל שאמור לתפעל כלים ברצף בלי שיאכילו אותו בכפית, הסט הזה מודד בדיוק את זה.
- 6,093הורדות בחודש
- 19לייקים
מה זה
המאגר מכיל 500 משימות לדוגמה מתוך בנצ'מרק רחב יותר של ScaleAI. המטרה כאן היא לבחון שימוש בכלים בעולם האמיתי, כשבפועל הנתונים מכסים 36 שרתי MCP שונים ו־220 כלים. כל רשומה מייצגת משימה שדורשת בין 3 ל־6 קריאות לכלים שונים כדי להגיע לפתרון מלא.
המבנה של כל שורה כולל מזהה ייחודי בן 24 תווים, פרומפט בשפה טבעית בפניה ישירה שלא מסגיר את שמות הכלים, ורשימה מוגבלת של 10 עד 25 כלים שזמינים למודל באותה ריצה. בנוסף יש את מסלול הקריאות המלא, כולל ארגומנטים ותלויות, לצד טענות עובדתיות שמשמשות לבדיקת איכות התשובה של המודל לפי המידע שחזר מהכלים.
מתאים ל
- הערכת סוכני AI
מדידת היכולת של המודל לשרשר פקודות ולבחור כלים נכונים מתוך שרתי MCP.
- בדיקת איכות תשובות
השוואת הפלט של המודל מול טענות עובדתיות מבוססות תוצאות כלים.
- אבחון שגיאות בריצה
הצלבת רצף הקריאות שהמודל ביצע מול מסלול הפתרון המקורי שבמאגר.
איפה זה נופל
השחרור הציבורי הזה כולל 500 דוגמאות בלבד מתוך הבנצ'מרק המלא. אם תכננתם לאמן על זה מודל מאפס או לבצע כוונון עדין רחב, הכמות הזו פשוט לא תספיק ותשמש אתכם רק לבדיקות והערכה.
הפרומפטים נכתבו באנגלית, בלי אזכור לשפות נוספות, כך שאם אתם בונים סוכן בעברית הנתונים לא מייצגים את שפת היעד שלכם. בנוסף, המאגר לא כולל את תהליכי הדיאגנוסטיקה והתוצאות המלאות שלהם, ומפתחות הגישה לשרתים אינם מצורפים, מה שדורש הגדרה ידנית של סביבות העבודה.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
כן, רישיון CC-BY-4.0 מאפשר שימוש מסחרי מלא. התנאי היחיד הוא מתן ייחוס וקרדיט ל־ScaleAI בהתאם לדרישות הרישיון.
כמה שוקל הדאטהסט ואיך הוא מגיע?
הנתונים מגיעים בקובץ parquet יחיד שמכיל 500 רשומות בלבד. זהו קובץ קטן מאוד שנטען תוך שניות בודדות לזיכרון.
האם יש במאגר משימות בעברית?
לא, כל הפרומפטים והקריאות מנוסחים באנגלית בלבד. אם המוצר שלכם פונה למשתמשים בעברית, תצטרכו לתרגם את המשימות או לבנות סט בדיקה מותאם.
מה ההבדל בין השחרור הזה לבנצ'מרק המלא?
מדובר בתת-קבוצה של 500 דגימות מתוך המאגר המלא. היא שומרת על אותה התפלגות של 36 שרתים ו־220 כלים, אך לא כוללת את נתוני הדיאגנוסטיקה המלאים.
איך טוענים
הכול יושב בתוך קובץ parquet יחיד בשם MCP-Atlas.parquet, לצד קובץ התיעוד, כך שאין צורך באישור גישה מיוחד או בהורדה של ג'יגה-בייטים כבדים. אתם טוענים אותו ישירות בכלים הרגילים של פייתון כמו pandas או ספריית datasets.
כדי להריץ עליו הערכה אמיתית תצטרכו לחבר את כלי ההרצה שהחברה שחררה בגיטהאב למודל שלכם, ולהגדיר מפתחות גישה עצמאיים לשרתים, כי המאגר עצמו לא כולל מפתחות API. השדות המרכזיים לעבודה בזמן ריצה הם הפרומפט והכלים הפעילים, בעוד שמסלול הקריאות והטענות לבדיקה נועדו לשלב הניקוד והניתוח שלאחר הריצה.
from datasets import load_dataset
ds = load_dataset("ScaleAI/MCP-Atlas")הרישיון
הרישיון הוא CC-BY-4.0. המשמעות היא שאתם רשאים להשתמש בנתונים באופן חופשי, כולל לצרכים מסחריים והערכת מוצרים, כל עוד אתם נותנים קרדיט מתאים ליוצרים. אין כאן חובת שיתוף זהה, כך שתוצאות ההערכה והמודלים שלכם נשארים שלכם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס