ASI-Bench-seed42
קוד פתוחApexintelligence-AIapache-2.02026-07-28
מאגר משימות מחקר מדעי שנועד לבחון ביצועים של סוכני בינה מלאכותית ברמות שונות של הנחיה. תקבלו כאן תרחישים מורכבים עם נתונים גולמיים במקום שאלות רב ברירה פשוטות.
- 2,073הורדות בחודש
- 15לייקים
מה זה
המאגר כולל פחות מאלף רשומות שמחולקות לשישים משימות מחקר ברמת פרויקט מתוך 11 תחומים מדעיים שונים, למשל אסטרונומיה. כל משימה מגיעה בתוך תיקייה ייעודית שנוצרה עם סיד קבוע 42, וכוללת ארבע גרסאות שונות של הנחיות שמדורגות לפי רמת הפירוט שהסוכן מקבל.
גרסה B1 מציעה הנחיה מתודולוגית מלאה, B2 מציינת רק את השיטה בלי הפרוצדורה המלאה, B3 מספקת רק את מטרת המחקר והנתונים, וגרסה B4 מוסיפה על B3 גם מידע לא רלוונטי שמקשה על הביצוע. לצד קובצי ההנחיות ישנה תיקיית דאטה שמכילה את קובצי הקלט הגולמיים שהסוכן רואה בזמן העבודה, כולל קובצי ג'ייסון ומערכים מספריים.
מתאים ל
- בנצ'מרק לסוכני מחקר
בדיקת יכולת המודל לתכנן ולפתור בעיות מדעיות לפי נתונים גולמיים מרמת הנחיה מלאה ועד אפס הכוונה.
- עמידות להסחות דעת
מדידת ביצועי סוכנים תחת גרסת B4 שכוללת מידע עודף ולא רלוונטי למשימת היעד.
- עיבוד נתונים מדעיים
בחינת יכולת של מודלים לקרוא ולנתח קובצי קלט מספריים מסוג npy וקובצי ג'ייסון ייעודיים.
איפה זה נופל
הנתונים כולם באנגלית בלבד ואין כאן נגיעה לעברית. החיסרון המשמעותי ביותר הוא שהמאגר לא כולל את תשובות הייחוס או את כלי ההערכה הפרטיים, כך שאי אפשר לבדוק דיוק או אוטונומיה של מודל ישירות מתוך הקבצים שכאן בלי תלות במערכת ההערכה החיצונית של היוצרים. בנוסף, מדובר רק במופעים שנוצרו תחת סיד 42, כך שהבדיקה מוגבלת לסט ספציפי אחד של נתונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון אפאצ'י 2.0 מתיר שימוש מסחרי מלא בנתונים ובקוד, כל עוד מקפידים לצרף את תנאי הרישיון והודעת זכויות היוצרים המקורית.
האם המאגר כולל תוכן בעברית?
לא. כל ההנחיות, המשימות והנתונים כתובים באנגלית בלבד.
האם אפשר לבדוק ציונים של מודל ישירות מהקבצים במאגר?
לא. המאגר מכיל רק את ההנחיות וקובצי הקלט הגולמיים, ללא פתרונות הייחוס או נכסי ההערכה הפרטיים. כדי להריץ בדיקה ולקבל ציון רשמי צריך לעבוד מול מאגר הגיטהאב והתשתית של הפרויקט.
מה המשמעות של סיד 42 בשם המאגר?
הנתונים והמשימות נוצרו בצורה מתוכנתת סביב גרעין אקראיות קבוע של 42. המשמעות היא שאתם בוחנים את המודל מול מופע קונקרטי יחיד מתוך הבנצ'מרק הרחב.
איך טוענים
אין צורך לבקש אישור גישה מיוחד כדי להוריד את המאגר, אבל הוא לא מגיע בטבלה סטנדרטית אחת של חיבוק פייס. המאגר מורכב מ־602 קבצים שמסודרים במבנה תיקיות לפי משימות. בכל תיקיית משימה תמצאו קובצי מרקדאון של ההנחיות לצד קובצי קלט כמו ג'ייסון וקבצי npy של נמפיי. כדי לטעון ולהריץ הערכה בפועל תצטרכו להשתמש בסקריפטים ממאגר הגיטהאב של הפרויקט שמטפל במבנה התיקיות הזה.
from datasets import load_dataset
ds = load_dataset("Apexintelligence-AI/ASI-Bench-seed42")הרישיון
המאגר מופץ תחת רישיון אפאצ'י 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הקבצים, כולל אימון מודלים, בלי דרישה לשתף את התוצרים באותו רישיון. החובה העיקרית היא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית בכל עותק או חלק מהקוד והנתונים שתפיצו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים