EdgeBench
קוד פתוחByteDance-Seedcc-by-4.02026-06-24
המאגר מכיל 51 משימות מורכבות להרצה שבוחנות איך סוכני בינה מלאכותית משתפרים לאורך שעות עבודה. הוא פונה למי שרוצה לבדוק התמדה ופתרון בעיות מעשי בסביבות אמיתיות, ולא מבחני ידע של שניות.
- 10,909הורדות בחודש
- 84לייקים
מה זה
הנתונים מחולקים למשימות שמגיעות כקובצי JSON בודדים, לצד קובץ הגדרות בשם BENCHMARK.yaml. כל קובץ מייצג סביבת עבודה מלאה שמיועדת להרצה איטרטיבית. החלוקה הפנימית מקיפה שישה תחומים עיקריים, בהם הנדסת מערכות, אופטימיזציה, מתמטיקה פורמלית, מדע ולמידת מכונה, בסיסי ידע, ומשחקים כמו NetHack או OpenTTD.
המשימות מייצגות בעיות פיתוח ומחקר שלוקח למומחה אנושי 57.2 שעות בממוצע לפתור, וחלקן מגיעות עד 320 שעות. מתוך 134 משימות שנבנו ונבדקו במחקר המקורי של ByteDance, המאגר הציבורי כולל 51 בלבד. המידע נבנה כדי לאפשר לסוכן להריץ קוד, לקבל משוב מהמערכת, ולנסות לתקן את עצמו שוב ושוב במשך 12 שעות רצופות.
מתאים ל
- בדיקת סוכני פיתוח תוכנה
הרצת סוכנים על משימות שחזור והידור קוד כדי לבדוק יכולת עבודה ממושכת.
- מדידת עקומות למידה
מעקב אחרי שיפור ביצועי המודל בין שעתיים לשתים עשרה שעות של איטרציות.
- פתרון בעיות אופטימיזציה
בחינת יכולת הסוכן לשפר אלגוריתמים מתמטיים וניתוב מורכב לאורך זמן.
איפה זה נופל
זה לא מאגר שמתאים לאימון מודלים, אלא תשתית להערכת ביצועים בלבד. הדאטהסט כולו באנגלית ומתמקד בסביבות טכניות, ללא שום ייצוג לטקסט חופשי בעברית או לבעיות מקומיות. נקודת תורפה ברורה היא חסימת רוב התוכן: 83 משימות מתוך 134 נשארו סגורות אצל בייטדאנס, כך שאתם מקבלים רק תת קבוצה חלקית. בנוסף, עלויות הריצה כבדות מאוד, כיוון שכל משימה דורשת שעות של קריאות מודל ואיטרציות כדי להפיק ציון אמין, ולא כל סוכן מסוגל לשרוד 12 שעות ריצה בלי להיתקע.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון הוא רישיון CC BY 4.0 שמתיר שימוש מסחרי מלא. התנאי היחיד הוא מתן ייחוס ברור לחוקרים של ByteDance Seed שפרסמו אותו. תוצאות ההערכה שלכם אינן מחויבות בשיתוף תחת אותו רישיון.
כמה שוקל הדאטהסט הזה והאם צריך שרת חזק?
קובצי הנתונים עצמם שוקלים מגה בייטים בודדים וכוללים פחות מאלף רשומות טקסטואליות. המשקל האמיתי מגיע בזמן ההרצה, שמצריכה הפעלת קונטיינרים מבוססי Docker לכל משימה. ההערכה המלאה דורשת שעות ארוכות של זמן מעבד ופניות רבות ל־API של המודל.
האם הדאטהסט כולל משימות בעברית?
לא, כל המשימות, ההנחיות וסביבות הריצה כתובות באנגלית בלבד. המאגר בודק יכולות טכניות כמו תכנות, פתרון בעיות מתמטיות ואינטראקציה עם ממשקי משחק. אין כאן נתונים לבדיקת שפה טבעית או תרבות מקומית.
איך ניגשים לכל 134 המשימות שנבדקו במחקר?
המאגר הציבורי מכיל רק 51 משימות פתוחות. כדי לקבל גישה ליתר 83 המשימות, המפרסמים דורשים פנייה ישירה במייל לצוות בבייטדאנס. הציון בלוח התוצאות המלא נמדד על המאגר השלם, כך שתוצאות מקומיות ישוו רק לתת הקבוצה הפתוחה.
איך טוענים
טוענים את המאגר דרך Hugging Face או מורידים ישירות את 65 הקבצים, שכוללים קובצי JSON ספציפיים לכל משימה. המאגר פתוח לחלוטין ללא צורך בהרשאת גישה מיוחדת, והנפח הכולל קטן מאוד ברמת הטקסט כיוון שהוא מכיל פחות מאלף רשומות. עם זאת, אי אפשר להסתפק בקריאת הקבצים בפייתון רגיל. כדי להריץ את המבחנים בפועל, אתם צריכים להשתמש ברכיב SForge של המפתחים, שרץ על גבי שני קונטיינרים נפרדים של Docker כדי לספק את סביבות הריצה המבודדות.
from datasets import load_dataset
ds = load_dataset("ByteDance-Seed/EdgeBench")הרישיון
המאגר שוחרר ברישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בתנאי שאתם מעניקים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין דרישה לשתף תוצרי המשך תחת אותו הרישיון, כך שאין מניעה להשתמש בתוצאות הבדיקה או בכלי לצורך מוצרים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס