ScienceAgentBench
קוד פתוחosunlpcc-by-4.02024-10-22
המאגר כולל משימות מחקר אמיתיות לבדיקת סוכני קוד ואוטומציה מדעית. הוא מתאים למי שרוצה לבחון מודל על פתרון בעיות קוד מורכבות מתוך מאמרים שפורסמו.
- 2,840הורדות בחודש
- 21לייקים
מה זה
המאגר מכיל 102 משימות מדעיות שנגזרו מ־44 מאמרים שעברו ביקורת עמיתים בארבעה תחומים שונים. תשעה מומחי תוכן עברו על המשימות ותיקפו אותן ידנית כדי לוודא שהן אמינות מבחינה מדעית ומשקפות עבודה אמיתית.
כל רשומה מייצגת משימה שבה המודל נדרש לייצר קובץ פייתון עצמאי כפתרון. השדות כוללים מזהה ייחודי, תחום מדעי, קטגוריות של תת-משימות, הוראות משימה, ידע מומחה, תצוגה מקדימה ומבנה תיקיות של הנתונים, וכן קישורים למאגר המקורי בגיטהאב ולתוכנית המקורית ששימשה בסיס.
הקובץ בהאגינג פייס משמש כדף הנחיות ומכיל רק את נתוני הקלט כדי למנוע זיהום נתונים. סקריפטי ההערכה והרצת הבדיקות המלאות מנוהלים מחוץ לקובץ, ישירות דרך מאגר הגיטהאב של הפרויקט.
מתאים ל
- בנצ'מרק לסוכני קוד מדעי
בדיקת יכולת של סוכן אוטונומי לכתוב קוד פייתון שלם שמנתח נתוני מחקר לפי דרישות מוגדרות.
- הערכת שילוב ידע מומחה
בחינה אם מודל שפה מבין הנחיות תחום ומבני תיקיות מורכבים בתוך בעיה מדעית מוגדרת.
- מדידת עלויות ריצה ודיוק
השוואת ביצועים ועלויות טוקנים של מודלים שונים בעת הפקת פתרונות תכנותיים מלאים.
איפה זה נופל
המאגר כתוב כולו באנגלית ומתמקד אך ורק בקוד פייתון ובארבעה תחומים מדעיים בלבד, כך שהוא לא מייצג את כלל עולם המחקר. כמו כן, הוא כולל 102 משימות בלבד, מדגם קטן יחסית שנועד להערכה מדויקת ולא לאימון רחב של מודלים מותאמים אישית.
בעיה מרכזית היא שהמאגר בהאגינג פייס כולל רק את ההנחיות והקלט. מי שבונה מוצר או רוצה תוצאת הערכה סופית לא יכול להסתפק בהורדת הקובץ מכאן, אלא חייב להקים את כל סביבת הבדיקות והקוד שנמצאים בגיטהאב. בנוסף, קיימת תלות בקוד מקור חיצוני שעשוי להשתנות או להישען על תלויות מורכבות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הכללי הוא cc-by-4.0 שמתיר שימוש מסחרי עם מתן קרדיט. יחד עם זאת, שש משימות מבוססות על קוד ממקורות חיצוניים כמו rasterio ו־matminer ושומרות על הרישיון המקורי שלהן. אם אתם בונים מוצר מסחרי, מומלץ לוודא את תנאי המאגרים האלו או להסיר את המשימות הספציפיות.
האם המאגר כולל עברית או תמיכה בריבוי שפות?
לא, כל הנתונים, ההנחיות, המאמרים והקוד מופיעים באנגלית בלבד. מדובר במשימות מדעיות ותכנותיות סטנדרטיות שמבוססות על ספרות בינלאומית וקוד פייתון באנגלית. אין במאגר טקסטים או התאמות לשפות אחרות.
מאיפה הגיעו המשימות שמופיעות כאן?
הצוות חילץ 102 משימות מתוך 44 מאמרים שעברו ביקורת עמיתים בארבעה תחומים מדעיים שונים. לאחר החילוץ, תשעה מומחי תוכן עברו על הנתונים במספר סבבי בדיקה ידניים כדי לוודא שהמשימות מדויקות, פתירות ומבוססות מדעית.
האם אפשר להעריך מודל רק באמצעות הקובץ מהאגינג פייס?
לא, הקובץ כאן מכיל רק את ההנחיות ונתוני הקלט כדי למנוע דליפת מידע וזיהום נתונים. סקריפטי ההערכה והרצת הקוד שבודקים אם הפתרון נכון נמצאים במאגר הגיטהאב של הפרויקט, וצריך להשתמש בו כדי לקבל ציון.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בפייתון ומציינים את הפיצול verified. הנתונים מגיעים בקובץ פרקט ובקובץ פסיקים, ואין צורך בבקשת אישור גישה מיוחדת.
כדי להריץ מודל צריך לקרוא את השדות task_inst ו־domain_knowledge שמספקים את ההנחיות והרקע. שדות כמו dataset_folder_tree ו־dataset_preview מציגים למודל את סביבת הקבצים, אבל בשביל להריץ את סקריפט הבדיקה eval_script_name ולוודא שהקוד עובד, תצטרכו להוריד את סביבת ההרצה ממאגר הגיטהאב של החוקרים.
from datasets import load_dataset
ds = load_dataset("osunlp/ScienceAgentBench")הרישיון
רוב המשימות מפורסמות תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים קרדיט מתאים ליוצרים. עם זאת, שש משימות ספציפיות מבוססות על מאגרים בעלי זכויות יוצרים אחרות, ספציפית מזהים 3, 32, 46, 53, 54 ו־84 שמגיעים ממאגרי rasterio ו־matminer. אם אתם מתכננים לאמן מודל מסחרי או להפיץ פתרון, תצטרכו לבדוק את הרישיונות המקוריים של המשימות האלו או להחריג אותן מראש.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס