ai2_arc
קוד פתוחallenaicc-by-sa-4.02022-03-02
שאלות מדעיות אמיתיות מבית ספר יסודי בפורמט בחירה מרובה. המאגר נבנה כדי לבחון יכולת הסקה לוגית של מודלים מול שאלות שלא נפתרות רק בהתאמת מילים פשוטה.
- 842,674הורדות בחודש
- 387לייקים
מה זה
המאגר כולל 7,787 שאלות אמריקאיות במדעים שנכתבו במקור לתלמידי בית ספר. כל רשומה כוללת מזהה ייחודי, טקסט של שאלה, רשימת אפשרויות תשובה עם תיוג אותיות, ואת התשובה הנכונה. אין כאן יצירה סינתטית, אלא מבחנים מקוריים שמיועדים לבדוק ידע מדעי בסיסי והבנת סיבתיות.
החומר מחולק לשתי תצורות עיקריות. תצורת האתגר מרכזת שאלות שאלגוריתמי אחזור טקסט וספירת מילים משותפות נכשלו בהן, כך שנשארות רק בעיות שדורשות הבנה והסקה. תצורת הבסיס הקלה מכילה את שאר השאלות שלא סיבכו את המנועים הפשוטים.
כל תצורה מחולקת מראש לקבוצות אימון, בדיקה ותיקוף. בגרסת האתגר יש 1,119 שאלות לאימון, 299 לתיקוף ו־1,172 לבדיקה. בגרסה הקלה יש 2,251 שאלות לאימון, 570 לתיקוף ו־2,376 לבדיקה, לצד קורפוס עזר חיצוני של מעל 14 מיליון משפטים מדעיים.
מתאים ל
- הערכת הסקה במודלי שפה
בדיקת יכולת המודל לענות על שאלות מדעיות מורכבות ללא הסתמכות על התאמת מילים שטחית.
- אימון מודל שאלות ותשובות
כוונון עדין על שאלות אמריקאיות קצרות עם תשובות מדויקות שמבוססות על ידע בית ספרי.
- בנצ'מרק השוואתי למערכות RAG
מדידת ביצועים של מערכות אחזור מידע מול קורפוס מדעי בעזרת שאלות האתגר הקשות.
איפה זה נופל
הכרטיס הושאר ריק ברוב חלקי התיעוד לגבי הטיות, אופן האיסוף וזהות כותבי השאלות. כל השאלות כתובות באנגלית בלבד ומתאימות לתכניות לימודים כלליות, ללא התאמה לעברית או לישראל. המאגר מבוסס על שאלות מבחן קצרות, כך שהוא לא בודק יצירת טקסט חופשי, הפקת קוד, או הסקה על גבי מסמכים ארוכים.
שאלות
נפוצות
האם המאגר זמין בעברית?
לא. הנתונים זמינים באנגלית בלבד. מי שרוצה להשתמש בו להערכה בעברית יצטרך לתרגם את השאלות ולבדוק שהניסוח המדעי נשמר.
האם מותר להשתמש בו לפיתוח מסחרי?
הרישיון הוא cc-by-sa-4.0 שמתיר שימוש מסחרי, אך כולל דרישת שיתוף זהה. אם אתם משנים את הדאטהסט או משלבים אותו, ייתכן שתחויבו לחשוף את הנגזרות תחת אותו רישיון.
כמה מקום צריך לפריקה של הקבצים?
הורדת הקבצים דורשת כ־1.36 גיגה בייט על הדיסק. עם זאת, קובצי השאלות עצמם קלים מאוד ותופסים יחד כ־2.28 מגה בייט בלבד לאחר טעינה.
מה ההבדל בין גרסת האתגר לגרסה הקלה?
גרסת האתגר כוללת רק שאלות שאלגוריתמים פשוטים של שליפת טקסט כשלו בהן, והיא מיועדת לבחון יכולת חשיבה אמיתית. הגרסה הקלה מכילה את כל שאר השאלות מהמבחנים המקוריים.
איך טוענים
הנתונים מחולקים לקבצי פאrequest parquet ישירים לפי תצורות האתגר והקל, ללא צורך באישור גישה מיוחד או תהליך הרשמה. הורדת הקבצים דורשת כ־1.36 גיגה בייט בגלל קובצי הנתונים הנלווים, אך הטבלאות המעובדות שוקלות פחות משלושה מגה בייט. השדות העיקריים לעבודה הם question שמכיל את השאלה, choices שמחזיק את המערכים של האפשרויות, ו־answerKey לתשובה הנכונה.
from datasets import load_dataset
ds = load_dataset("allenai/ai2_arc")הרישיון
המאגר מופץ ברישיון cc-by-sa-4.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה, בתנאי שנותנים קרדיט מלא למחברים. סעיף השיתוף באותם תנאים דורש מכל מי שמשנה או בונה נגזרת של הנתונים לשחרר את התוצר תחת אותו רישיון בדיוק, נקודה שחשוב לבדוק משפטית לפני שילוב באימון מודלים קנייניים.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון