ITBench-AA

מה זה

המאגר כולל ארבעים תרחישי תקלות מתוך תת-הקבוצה של הנדסת אמינות אתרים, שמקורם בבנצ'מרק המקורי של חברת יבמ. כל רשומה מגלמת תקלה מבודדת באשכול קוברנטיס ומכילה תמונת מצב לא מקוונת הכוללת התראות זמניות בקובצי ג'ייסון, לוגים של אירועים, עקבות קריאה וטופולוגיית רשת. המטרה היא להעמיד מודל מול המידע הגולמי הזה ולדרוש ממנו להצביע על הרכיב הספציפי שגרם לקריסה, למשל פוד תקול, פריסה לא יציבה או קובץ הגדרות שגוי.

מתוך 59 תרחישים שנבדקים במבחן המקורי, שוחררו כאן אך ורק ארבעים המקרים שסומנו כציבוריים. המידע מחולק לתיקיות ייעודיות לכל תרחיש, ובתוכן מאוחסנים אלפי קבצים קטנים שמדמים את תעבורת הניטור של אותה תקלה בזמן אמת. לצד קובצי המערכת המנוטרים, כל דוגמה מלווה בקובץ הגדרות מבני שמכיל את תשובת האמת, תיאור מלא של הכשל, גרף התפשטות הבעיה והמלצות לתיקון הפגיעה.

מתאים ל

• הערכת סוכני אוטונומיה

  מבחן ביצועים לסוכנים שצריכים לסרוק לוגים והתראות כדי לאתר את הרכיב האשם בתקלה.

• בדיקת הסקת מסקנות מתשתית

  בחינת היכולת של מודלי שפה לקרוא עצי קריאות וקבצי ניטור של קוברנטיס ולהבין שרשרת כשלים.

• אימון פרומפטים לתחקור

  כיול שאלות מובנות להפקת המלצות תיקון מתוך נתוני אמת של אשכולות פגועים.

איפה זה נופל

ארבעים תרחישים זה מדגם קטן מאוד שלא מספיק לאימון משמעותי, אלא מתאים כמעט רק להערכה. המאגר מכיל רק תוכן באנגלית ובפורמט טכני של קוברנטיס, כך שאין כאן שום מידע בעברית או תמיכה במערכות ישנות. בנוסף, מדובר בתמונת מצב מנותקת מהרשת של תרחישים שנבחרו מראש, בלי היכולת להריץ פקודות חיות באשכול בזמן התחקור. אם הארכיטקטורה שלכם לא מבוססת קוברנטיס, הנתונים האלה לא יתרמו לכם דבר.

איך טוענים

טוענים את הנתונים דרך ספריית הדאטהסטים של האגינג פייס תחת התצורה הייעודית, ללא צורך בהרשאה מוקדמת. המאגר עצמו קטן במספר הדגימות אך מחזיק 3,799 קבצים נפרדים בגלל פירוט ההתראות לאורך זמן. השדות החשובים לניתוח הם מזהה התרחיש, נתיב תיקיית השורש בסביבת הבדיקה, ושדה תשובת האמת שמספק את פירוט התקלה המלא. צריך לזכור שהמודל אמור לפעול מול קובצי הניטור הגולמיים ולא להיחשף לשדה האמת בזמן הריצה.

from datasets import load_dataset

ds = load_dataset("ArtificialAnalysis/ITBench-AA")

הרישיון

המאגר מופץ תחת רישיון קריאייטיב קומונס 4.0 ייחוס, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים. המגבלה היחידה היא מתן קרדיט ברור למפרסמים ולמחקר המקורי של יבמ. אימון מודל על המאגר מותר לחלוטין לכל מטרה.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗