discoverybench
קוד פתוחallenaiodc-by2024-06-12
מאגר משימות שבודק אם מודל שפה מסוגל לנתח נתונים ולהגיע לתובנות מדעיות בעצמו. הוא משלב קובצי נתונים אמיתיים וסינתטיים יחד עם יעדי מחקר מוגדרים.
- 1,785הורדות בחודש
- 18לייקים
מה זה
המאגר מחולק לשני חלקים עיקריים, נתונים אמיתיים ונתונים סינתטיים, כאשר כל חלק מפוצל לתיקיות אימון ובדיקה. המבנה כולל 789 קבצים בסך הכל. בכל תיקיית משימה תמצאו קובצי נתונים בפורמט CSV, כמו למשל נתונים מתחום הארכיאולוגיה, לצד קובצי מטא-דאטה בפורמט JSON שמגדירים את השאלות והיעדים.
לצד תיקיות המשימות ישנה תיקיית תשובות מסודרת בקובצי CSV נפרדים עבור הנתונים האמיתיים והסינתטיים. התשובות מכילות את השערות הזהב שאליהן המודל אמור להגיע, והן מקושרות לכל שאילתה באמצעות מזהה תיקייה ומזהה שאלה מדויק. המפרסמים לא פירטו בכרטיס את מקורות הנתונים המדויקים, את תהליך הסינון או את אופן יצירת הדאטה הסינתטי.
מתאים ל
- הערכת סוכני מחקר
בדיקת היכולת של סוכנים מבוססי מודלי שפה לבצע ניתוח סטטיסטי ולהסיק מסקנות.
- אימון מודלים להסקה
שימוש במשימות האימון כדי ללמד מודלים לחלץ השערות מדעיות מתוך טבלאות נתונים.
- בנצ'מרק לחילוץ תובנות
השוואת ביצועים בין מודלים שונים מול השערות הזהב המוגדרות מראש במאגר.
איפה זה נופל
הכרטיס לא מציין אף מילה על תמיכה בעברית, וכל הדוגמאות והתיעוד באנגלית בלבד. מעבר לכך, אין פירוט על הטיות אפשריות, גודל פיזי בבתים, כמות הדגימות הכוללת או התחומים המדעיים המכוסים מעבר לדוגמה בודדת. המבנה המבוזר מקשה על אימון ישיר, כך שלפני שמשלבים אותו בצנרת עבודה צריך לכתוב קוד טעינה ייעודי שמפרק את מאות הקבצים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא ODC-By שמתיר שימוש מסחרי. החובה המרכזית היא מתן קרדיט ברור למפרסמים בהתאם לתנאי הרישיון.
האם המאגר כולל נתונים בעברית?
לא. המאגר מיועד לעבודה באנגלית, וכל המטא-דאטה, השאילתות והקבצים מנוסחים באנגלית בלבד.
איך המאגר בנוי ומאורגן בפועל?
הוא כולל 789 קבצים המחולקים למשימות אמיתיות וסינתטיות, עם פיצול לאימון ולבדיקה. כל משימה מורכבת מקובצי CSV של נתונים, קובצי JSON עם שאלות, וקובצי CSV נפרדים עם תשובות הזהב.
האם יש צורך לבקש אישור גישה כדי להוריד את הקבצים?
אין צורך באישור. המאגר פתוח לחלוטין לציבור וניתן להוריד אותו ואת קובצי הקוד הנלווים ישירות.
איך טוענים
המאגר זמין להורדה ישירה ללא צורך באישור גישה מוקדם. הנתונים לא מגיעים כטבלה אחודה שמושכים בפקודה אחת של ספריית הדאטהסטים, אלא כעץ תיקיות שמכיל מאות קובצי CSV ו־JSON. כדי להריץ בדיקות צריך לקרוא את קובצי הנתונים, לחבר אליהם את השאילתות מקובצי המטא-דאטה, ולהצליב את הפלטים מול מפתחות התשובות שבתיקיית answer_key לפי מזהי התיקייה והשאלה.
from datasets import load_dataset
ds = load_dataset("allenai/discoverybench")הרישיון
המאגר מופץ תחת רישיון ODC-By. מותר להשתמש בנתונים לצרכים מסחריים, להתאים אותם ולבנות עליהם מודלים, בתנאי שנותנים קרדיט מתאים ליוצרים לפי דרישות הרישיון. אין חובה לשתף את הנגזרות או את המודלים המאומנים תחת אותו הרישיון.