openbookqa
קוד פתוחallenaiunknown2022-03-02
שאלות רב ברירה במדע שמדמות מבחן עם ספר פתוח, ומחייבות שילוב בין עובדות בסיסיות להגיון בריא. מי שבוחר בו רוצה לבדוק הסקה רב שלבית במקום שליפת עובדות יבשה.
- 451,924הורדות בחודש
- 136לייקים
מה זה
המאגר מכיל שאלות אמריקאיות באנגלית עם ארבע אפשרויות בחירה ותשובה נכונה אחת. המבנה מבוסס על רעיון של מבחן עם חומר פתוח, שבו יש עובדת ליבה נתונה, והשאלה דורשת להפעיל עליה ידע כללי נוסף כדי להגיע לתשובה הנכונה. הכרטיס לא מפרט מה בדיוק היו מקורות הטקסט המקוריים או איך סיננו אותם.
הנתונים מחולקים לשתי תצורות, main ו־additional. שתיהן מכילות בדיוק אותן 4,957 דוגמאות אימון, 500 דוגמאות ולידציה ו־500 דוגמאות בדיקה. ההבדל הוא שבגרסת additional מקבלים גם את עובדת המקור facts1, ציוני איכות ובהירות אנושיים, ומזהה אנונימי של העובד שיצר את הרשומה דרך אמזון טורק.
מתאים ל
- הערכת יכולות הסקה
בדיקת מודלים על שאלות רב ברירה שמחייבות חיבור בין עובדה נתונה להגיון בריא.
- אימון למבחני מדע
כוונון עדין של מודלים קטנים למענה על שאלות הבנה מדעיfieldTypeות באנגלית.
- מחקר שליפת עובדות
שימוש בעובדות הבסיס מגרסת המאגר הנוספת כדי לבחון אלגוריתמים של שליפת מידע תומך.
איפה זה נופל
הכרטיס ריק כמעט לחלוטין בכל הנוגע להטיות, מגבלות ידועות ופרטי איסוף. הטקסט כולו באנגלית ואין כאן עברית בכלל, כך שהוא לא יעזור ישירות למי שבונה מוצר מקומי. בנוסף, מדובר במחקר שהוצג במקור ב־2018, כך שהשאלות מייצגות עולם מושגים וסגנון כתיבה מלפני כמה שנים, בלי תיעוד על האופן שבו פקחי האיכות סיננו טעויות של עובדי המיקור.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון הרשום הוא unknown, ולכן אין היתר שימוש מסחרי מוגדר. במצב כזה לא כדאי להכניס את הדאטה לפייפליין של מוצר בלי לבדוק באתר של מכון אלן או מול החוקרים עצמם.
כמה מקום המאגר תופס בדיסק?
המאגר קטן מאוד ושוקל בסך הכל כ־5.78 מגה בייט. קובצי ההורדה עצמם שוקלים פחות משלושה מגה בייט בפורמט Parquet, והוא נטען מיידית לזיכרון.
האם יש בדאטהסט תמיכה בעברית?
לא, כל הנתונים באנגלית בלבד. מפתח ישראלי שרוצה להשתמש בו למשימות מקומיות יצטרך לתרגם את השאלות והעובדות בעצמו, תוך בדיקה שהתרגום לא הורס את המסיחים.
איך הנתונים נאספו ונבנו?
השאלות נבנו על בסיס עובדות מדעיות מוגדרות בעזרת עובדים בפלטפורמת מיקור המונים, כפי שמעיד שדה הזיהוי של טורק. הכרטיס הנוכחי לא מפרט מעבר לכך ומשאיר את רוב פרטי האיסוף תחת צורך במידע נוסף.
איך טוענים
טוענים את הקבצים ישירות בפורמט Parquet, ללא צורך באישור גישה או הרשמה מיוחדת. הנפח הכולל זעיר, פחות משישה מגה בייט בדיסק, כך שהכל יורד ונכנס לזיכרון בשניות. אם אתם רק בוחנים מודל, תצורת main מספיקה וכוללת את השאלה, המסיחים והתשובה. אם אתם חוקרים שיטות שמשלבות שליפת ידע או רוצים לסנן לפי איכות התיוג, תטענו את additional כדי לקבל את עובדת הבסיס ואת ציוני הבהירות.
from datasets import load_dataset
ds = load_dataset("allenai/openbookqa")הרישיון
הרישיון מוגדר כלא ידוע. המשמעות פשוטה: מבחינה משפטית אין לכם הרשאה מפורשת להשתמש בנתונים האלה לאימון מודל מסחרי או להפצה בתוך מוצר סגור. כל שימוש מעבר למחקר והערכה פנימית דורש בדיקה מול הדף המקורי של המכון או פנייה ישירה ליוצרים כדי להבין מה מותר.