DEVAI
קוד פתוחDEVAI-benchmarkmit2024-10-14
המאגר כולל 55 משימות פיתוח מציאותיות לבדיקת סוכני בינה מלאכותית, עם 365 דרישות משתמש היררכיות. הוא מיועד למי שרוצה להעריך ביצועי כתיבת קוד מקצה לקצה מעבר למבחני יחידה פשוטים.
- 364הורדות בחודש
- 22לייקים
מה זה
המאגר בנוי כבנצ'מרק להערכת סוכני פיתוח תוכנה אוטונומיים. הוא כולל 55 משימות פיתוח שונות בעולמות למידת המכונה, למידה עמוקה ולמידת חיזוק, כמו סיווג תמונות בעזרת ResNet18 על Fashion MNIST, פותר מבוכים עם Q Learning, וסיווג טקסט עם Naive Bayes.
בתוך המאגר יש 62 קבצים, שכוללים קובצי JSON פרטניים לכל משימה תחת תיקיית instances, וכן קובץ אילוצים מרכזי בשם constraints.json. הנתונים מתבססים על 365 דרישות משתמש היררכיות שנכתבו ותויגו ידנית כדי לבדוק האם הקוד שהסוכן ייצר באמת עונה על כל שלב בתהליך, ולא רק אם הוא מחזיר פלט סופי תקין.
מתאים ל
- הערכת סוכני קוד
בדיקת ביצועים של סוכני פיתוח אוטונומיים מול 55 משימות פיתוח מורכבות.
- אימות דרישות היררכי
מדידת יכולת הסוכן לעמוד ב־365 דרישות משנה מוגדרות מראש לאורך הפיתוח.
- אותות תגמול ללמידה
שימוש במשוב המפורט כבסיס לאימון בשיטות למידת חיזוק לסוכנים.
איפה זה נופל
זה לא מאגר לאימון מודלים אלא סט בדיקה קטן מאוד שמכיל 55 משימות בלבד, כולן באנגלית וכולן ממוקדות בפיתוח מערכות בינה מלאכותית. אין כאן משימות ווב כלליות או תמיכה בשפות אחרות. הריצה דורשת סביבה חיה עם גישה לרשת ומפתחות חיצוניים, מה שמקשה על הרצה מבודדת ובטוחה. אם המודל שלכם לא מיועד ספציפית לתרחישי Data Science ולמידת מכונה, המבחן הזה פשוט לא ישקף את היכולות שלו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
כן, הרישיון המוגדר הוא MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי, מחקרי והפצה מחודשת. התנאי היחיד הוא שמירת הודעת הרישיון וזכויות היוצרים של המפרסמים המקוריים.
האם יש במאגר משימות בעברית?
לא, כל 55 המשימות והדרישות כתובות באנגלית בלבד. המשימות עוסקות בקוד פייתון ומודלים של למידת מכונה, ללא נתונים או הנחיות בשפות אחרות.
האם המאגר מתאים לאימון מודל שפה מבראשית?
ממש לא. מדובר ב־55 משימות הערכה ספציפיות בתוך קובצי JSON, ולא במאגר טקסט רחב. הוא מיועד לבדיקה והערכה (Benchmark) של מערכות קוד קיימות, או כמקור דק לאותות חיזוק.
מה צריך להכין מראש לפני הרצת המשימות?
תצטרכו להכין מפתחות API תקפים ל־Hugging Face ול־Kaggle, שכן המשימות דורשות גישה לפלטפורמות אלו כדי למשוך סטים ומודלים. כמו כן יש להשתמש בקובץ האילוצים המצורף כדי להנחות את הסוכן.
איך טוענים
הנתונים יושבים במבנה תיקיות פתוח בפורמט JSON, ללא צורך באישור גישה מיוחד מיוצרי המאגר. כדי להריץ את המשימות מול המודלים שלכם, תצטרכו להגדיר מפתחות API לגישה אל Kaggle ואל Hugging Face, כי חלק מהמשימות תלויות בהורדת דאטהסטים ומודלים ישירות מהפלטפורמות האלה. קובץ constraints.json חיוני כאן כדי להעביר לסוכן את מגבלות הריצה המדויקות לכל משימה.
from datasets import load_dataset
ds = load_dataset("DEVAI-benchmark/DEVAI")הרישיון
המאגר שוחרר תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא מגביל שיווק של מודלים שנבדקו או אומנו על גבי המידע.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש