bookcorpusopen
קוד פתוחdefunct-datasetsunknown2022-03-02
טקסטים מלאים של ספרים עצמאיים באנגלית לאימון מודלי שפה. חוקרים חיפשו אותו כדי לשחזר אימונים קלאסיים כמו ברט, אבל המקורות נמחקו והמאגר מושבת כרגע.
- 528הורדות בחודש
- 39לייקים
מה זה
המאגר כולל 17,868 ספרים בפורמט טקסט פשוט שנאספו מהאתר Smashwords, שבו סופרים עצמאיים מפרסמים יצירות. שון פרסר הכין את הגרסה הזו, והיא אוחסנה במקור בפלטפורמת The-Eye לצורכי שימור דיגיטלי. המטרה הייתה להנגיש טקסטים רציפים וארוכים שמתארים עלילות, דמויות, דיאלוגים ותיאורים מפורטים, מה שחסר בדאטהסטים שמבוססים על חדשות או ויקיפדיה.
המבנה של הרשומות בסיסי לחלוטין וכולל פיצול יחיד של אימון ללא חלוקה מובנית למבחן. כל רשומה מייצגת ספר מלא ומחזיקה שני שדות בלבד: כותרת הקובץ והטקסט עצמו. הטקסט אינו מעובד, ומכיל את תוכן הספר כפי שחולץ מקובצי המקור, כולל עמודי שער, הצהרות זכויות יוצרים של Smashwords, שמות פרקים ומספרי גרסאות. בכרטיס המקורי אין פירוט לגבי סינון של תכנים, הסרת כפילויות או עיבוד מקדים.
מתאים ל
- אימון מודלי שפה באנגלית
לימוד רצף טקסטואלי ארוך והבנת הקשרים עלילתיים מתוך ספרים מלאים.
- משימות מילוי מסכות
ניבוי מילים חסרות בהקשר של פרוזה ומשפטים ספרותיים מורכבים.
- שחזור מחקרי של BERT
הערכת ביצועים מול דאטהסטים היסטוריים שהתבססו על BookCorpus המקורי.
איפה זה נופל
הבעיה המרכזית היא שהדאטהסט מושבת ולא נגיש להורדה ישירה. מעבר לכך, כל הטקסטים הם באנגלית בלבד ואין כאן מילה בעברית. המקור הוא ספרים בהוצאה עצמית, ולכן איכות הכתיבה, העריכה הלשונית והסגנון משתנים מאוד בין ספר לספר. הטקסט כולל קרדיטים, עמודי זכויות יוצרים ומטא-דאטה של מהדורות שלא נוקו. הכרטיס אינו מספק מידע על סינון תוכן רגיש, הטיות חברתיות או שנת האיסוף המדויקת, כך שחובה לסנן את החומר ידנית לפני כל שימוש.
שאלות
נפוצות
האם אפשר להשתמש בדאטהסט הזה לפרויקט מסחרי?
לא מומלץ בכלל. הרישיון מוגדר כלא ידוע, והטקסטים נסרקו מאתר שבו סופרים מוכרים את ספריהם. שימוש מסחרי חושף אתכם לתביעות זכויות יוצרים מול בעלי היצירות.
כמה מקום צריך לפנות בדיסק כדי לעבוד איתו?
ההורדה דורשת 2.40 גיגה בייט, והנתונים שנפרסים תופסים 6.64 גיגה בייט. בסך הכל תצטרכו 9.05 גיגה בייט פנויים כדי לפרוס ולטעון אותו במלואו.
האם יש במאגר ספרים בעברית?
לא. הדאטהסט כולל ספרים באנגלית בלבד שנאספו מאתר Smashwords, ואין בו ייצוג לשפות אחרות.
למה מופיעה שגיאה כשמנסים להוריד את המאגר?
הדאטהסט סומן רשמית כמושבת. שרתי The-Eye שאירחו את הקבצים המקוריים כבר לא מחזיקים בהם בנתיב המקורי, ולכן הסקריפט נכשל בניסיון המשיכה.
איך טוענים
טעינה רגילה דרך הקוד לא תעבוד כרגע, כי קובצי המקור בשרת The-Eye אינם זמינים והמאגר סומן כמושבת. סקריפט הטעינה bookcorpusopen.py מוגדר לחלץ את השדות title וטקסט גולמי. הורדת הקבצים דרשה במקור 2.40 גיגה בייט, והדאטהסט שנוצר תופס 6.64 גיגה בייט, כך שנדרשים בסך הכל 9.05 גיגה בייט של מקום פנוי בדיסק. אין כאן מנגנון של אישור גישה או שדות מטא-דאטה מורכבים.
from datasets import load_dataset
ds = load_dataset("defunct-datasets/bookcorpusopen")הרישיון
הרישיון מוגדר כלא ידוע. הטקסטים נאספו באמצעות סריקה של אתר Smashwords, ובכרטיס יש הפניה לתנאי השימוש של האתר. מודלים מסחריים שמתבססים על החומר הזה מסתכנים בהפרת זכויות יוצרים של הסופרים, מכיוון שאין היתר מפורש לשימוש מסחרי או לאימון.