qasc
קוד פתוחallenaicc-by-4.02022-03-02
שאלות מדעיות אמריקאיות עם שמונה אפשרויות שמחייבות חיבור בין שתי עובדות נפרדות. הוא מיועד למי שרוצה לבחון הסקת מסקנות מורכבת של מודל שפה מעבר לשליפת עובדה בודדת.
- 128,434הורדות בחודש
- 23לייקים
מה זה
המאגר כולל 9,980 שאלות רב-ברירה בתחומי מדע בסיסיים של בית ספר יסודי. כל רשומה בנויה סביב רעיון של הרכבת משפטים, ומכילה שתי עובדות מקוריות, עובדה משולבת שמחברת ביניהן, את השאלה עצמה, שמונה מסיחים אפשריים עם תיוג, ואת מפתח התשובה הנכונה. לפי התיאור קיים גם קורפוס רקע של 17 מיליון משפטים.
החלוקה הפנימית מוגדרת מראש לשלושה חלקים מסורתיים: אימון עם 8,134 דוגמאות, ולידציה עם 926, ומבחן עם 920 רשומות. כרטיס הדאטהסט לא מפרט את הליך הסינון, מקורות הטקסט הגולמיים או זהות המתייגים, כך שמבחינת שרשרת הנתונים המלאה המידע כאן חלקי מאוד.
מתאים ל
- אימון הסקה רב-שלבית
לימוד מודלים לחבר שתי עובדות נפרדות כדי לענות על שאלת מדע.
- בנצ'מרק לשאלות ברירה
בדיקת יכולת המודל לבחור תשובה אחת מתוך שמונה מסיחים.
- הערכת מודלי שליפה והסבר
שימוש בעובדות המפורטות כדי לבחון האם המודל מנמק נכון.
איפה זה נופל
החומר כולו באנגלית בלבד, ואין כאן נגיעה לעברית או תרגום מותאם. רמת הידע מוגבלת למדע בסיסי ברמת בית ספר יסודי, כך שהוא לא מתאים למבחני ידע מתקדמים או מקצועיים. מעבר לזה, כרטיס המאגר ריק בסעיפי ההטיות, שיטת הדגימה, הרקע של המתייגים והמגבלות החברתיות, מה שמקשה לדעת אם יש בו עיוותים מובנים בלי לבדוק את הדוגמאות ידנית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון CC-BY 4.0 מאפשר שימוש מסחרי מלא. צריך רק להקפיד על מתן קרדיט נאות ליוצרים במקום מתאים במוצר או בתיעוד.
כמה מקום המאגר תופס בדיסק?
קבצי ההורדה שוקלים 1.61 מגה-בייט בלבד. לאחר פריסה וטעינה המאגר תופס 5.87 מגה-בייט, עם סך הכל כ־7.49 מגה-בייט כולל פעולות הדיסק.
האם יש בדאטהסט תמיכה בעברית?
לא, הנתונים כולם באנגלית בלבד. אם רוצים להשתמש בו למוצר מקומי, תצטרכו לתרגם את השאלות והעובדות בעצמכם.
מה מייחד אותו ממאגרי שאלות אמריקאיות רגילים?
לכל שאלה יש שמונה אפשרויות בחירה ולא ארבע כמקובל. בנוסף, כל שאלה בנויה במפורש על שילוב בין שתי עובדות שונות שמתועדות בשדות נפרדים.
איך טוענים
המשקל הכולל של הקבצים בהורדה הוא 1.61 מגה-בייט, ונפרס לכ־5.87 מגה-בייט על הדיסק בפורמט Parquet, כך שהוא נטען בשניות ישירות מקוד בלי צורך באישור גישה מיוחד. בעבודה איתו השדות המרכזיים הם question, המילון choices שמכיל את הטקסט והתוויות של שמונה המסיחים, ו־answerKey. מי שבונה מודל להסבר או שליפה ישתמש גם בשדות fact1, fact2 ו־combinedfact כדי לאמן על שלבי ההיסק.
from datasets import load_dataset
ds = load_dataset("allenai/qasc")הרישיון
הרישיון הוא CC-BY 4.0, שמתיר שימוש מסחרי, שינוי ושילוב במוצרים חיצוניים. החובה העיקרית היא מתן קרדיט מתאים ליוצרים מאלן AI. אין כאן דרישה לשחרר מודלים שאומנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס