cbt
קוד פתוחcam-cstgfdl2022-03-02
מבחן הבנת הנקרא הבנוי מספרי ילדים באנגלית חופשיים מזכויות, שנועד לבדוק שימוש בהקשר רחב. הוא מציע שאלות רב-ברירה להשלמת מילים מתוך הקשר של עשרים משפטים רצופים.
- 2,475הורדות בחודש
- 16לייקים
מה זה
המאגר כולל פסקאות שנלקחו מספרי ילדים של סופרים כמו צ'ארלס דיקנס, לוסי מוד מונטגומרי ואנדרו לאנג. המבנה האוטומטי לקח עשרים ואחד משפטים עוקבים מכל ספר, כאשר עשרים המשפטים הראשונים משמשים כהקשר. המשפט האחרון הפך לשאלה שבה חסרה מילה אחת, המסומנת כרצף איקסים, והמטרה היא לבחור את המילה החסרה מתוך רשימת אפשרויות שנלקחו מהטקסט.
יש כאן כמה תצורות עבודה נפרדות לפי סוג המילה שנמחקה: שמות עצם כלליים (CN), שמות ישויות (NE), פעלים (V), וכינויי גוף (P). בנוסף קיימת תצורת raw שמכילה את הטקסט המלא של הספרים בחלוקה לכותרת ותוכן. בכל התצורות האחרות הרשומות מורכבות מרשימת המשפטים המקדימים, השאלה, התשובה הנכונה, ורשימת האפשרויות לבחירה.
מתאים ל
- הערכת הבנת הקשר רחב
בדיקת יכולת המודל להשתמש בעשרים משפטים קודמים כדי לבחור מילה חסרה.
- מבחני השלמת ישויות
שימוש בתצורת NE להערכת זיהוי דמויות ושמות לאורך סיפור שלם.
- אימון מודלי שפה על ספרים
אימון על תצורת raw עבור יצירת שפה או הבנת סגנון ספרותי ישן.
איפה זה נופל
הטקסטים מגיעים כולם מספרי ילדים קלאסיים באנגלית, לרוב מהמאה התשע עשרה ותחילת המאה העשרים. השפה ארכאית למדי ולא מייצגת אנגלית מודרנית או שיחות יומיומיות. כרטיס הדאטהסט לא מפרט סינון של הטיות, שפה רעילה או מידע רגיש, ולכן תכנים בעייתיים מתקופות אלו עלולים להופיע בטקסטים המקוריים. המאגר מוגבל לאנגלית בלבד ואינו רלוונטי לעבודה בעברית.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא, כל הטקסטים נאספו מספרי ילדים באנגלית בלבד. אין במאגר שום ייצוג לעברית או לשפות אחרות. אם אתם מחפשים לבחון יכולות בעברית, תצטרכו לתרגם את הנתונים או לפנות למאגרים אחרים.
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון המדווח הוא GFDL גרסה 1.3 שאינו אוסר שימוש מסחרי באופן מפורש, אך הוא כולל תנאי שיתוף זהה ומחייב ייחוס. המשמעות היא שהפצת יצירות נגזרות עלולה לחייב את שחרורן תחת אותו רישיון חופשי. מומלץ לבחון את ההשלכות עם ייעוץ משפטי לפני שילובו במוצר סגור.
איך נוצרו השאלות והתשובות?
החוקרים לקחו פרקים מתוך ספרים וחילקו אותם לרצפים של עשרים ואחד משפטים. המשפטים הראשונים משמשים כרקע, ובמשפט האחרון מוחקים מילה אחת מסוג מסוים שהופכת לתשובה הנכונה. עשר אפשרויות הבחירה נאספות מתוך המילים המופיעות בטקסט עצמו.
מה ההבדל בין התצורות השונות במאגר?
כל תצורה בוחנת חלק דיבר אחר שנמחק מהמשפט האחרון, כמו שמות עצם, פעלים, כינויי גוף או שמות ישויות. תצורת P למשל מתמקדת בכינויים ובודקת פתרון אזכורים, בעוד תצורת V בודקת חיזוי פעולות. תצורת raw מספקת פשוט את ספרי המקור המלאים ללא שאלות.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות המזהה הרשמי, ללא צורך בהרשמה מוקדמת או בקשת אישור מיוחדת מיוצרי המאגר. הנתונים מאורגנים ב־18 קבצי parquet לפי התצורות השונות, כאשר יש לבחור בעת הטעינה את החלוקה הרצויה כמו V או NE. השדות המרכזיים לעיבוד הם sentences שמכיל את רשימת עשרים משפטי ההקשר, question עם המילה החסרה, options עם המסיחים, ו־answer עם התשובה הנכונה. בגרסת raw מקבלים רק את כותרת הספר והטקסט המלא ללא שאלות מובנות.
from datasets import load_dataset
ds = load_dataset("cam-cst/cbt")הרישיון
המאגר מופץ תחת רישיון GNU Free Documentation License v1.3. רישיון זה מאפשר שימוש, שינוי והפצה, אך כולל דרישת שיתוף תחת אותו רישיון (Copyleft) וחובת ייחוס למקור. אם מאמנים מודל או יוצרים נגזרת ישירה, יש לבדוק משפטית האם הרישיון כופה שחרור של הנגזרות באותו אופן.