blbooks
קוד פתוחTheBritishLibrarycc0-1.02022-03-02
טקסטים סרוקים מכ־25 מיליון עמודים של ספרים היסטוריים ללא זכויות יוצרים, בעיקר מהמאות ה־18 וה־19. המאגר מציע מטא-דאטה עשיר וציוני איכות OCR עבור חקר שפה והיסטוריה.
- 647הורדות בחודש
- 44לייקים
מה זה
כל רשומה במאגר מייצגת עמוד בודד מתוך ספר שנסרק, וכוללת את הטקסט שחולץ לצד מטא-דאטה נלווה. המידע ההיקפי מפרט את שנת ההוצאה, מקום וארץ הדפוס, שפת המקור, תיאור פיזי של הפריט וציוני ביטחון סטטיסטיים של מנוע הסריקה ברמת המילה והעמוד.
הספרים הגיעו מאוספי הספרייה הבריטית ונסרקו בשיתוף עם מיקרוסופט. החומרים מכסים נושאים מגוונים כמו גאוגרפיה, פילוסופיה, שירה, ספרות והיסטוריה, ונבחרו מתוך טקסטים שפגו זכויות היוצרים שלהם, בעיקר מהשנים 1500 עד 1899, עם נוכחות דומיננטית של המאה ה־19.
המאגר מציע תצורות טעינה לפי חתכי זמנים שונים. ניתן למשוך את כל השנים יחד, או לבחור תצורות ייעודיות לתקופות 1800 עד 1899, 1700 עד 1799, ו־1510 עד 1699, עם אפשרות מובנית לסינון אוטומטי של עמודים ריקים.
מתאים ל
- אימון מודלי שפה היסטוריים
לימוד ייצוגי שפה, ניתוח שינויים לשוניים וסגנונות כתיבה מהמאות ה־18 וה־19 באנגלית.
- מחקר על עמידות מודלים לרעש
בדיקת השפעת שגיאות OCR על ביצועי מודלי שפה, תוך שימוש במדדי הביטחון הנתונים.
- משימות חיזוי מטא-דאטה
אימון מודלים מונחים לסיווג שנת הוצאה, מיקום גאוגרפי או שפה על בסיס הטקסט.
איפה זה נופל
הטקסט הופק באמצעות OCR ממקורות מודפסים עתיקים, ולכן סובל משגיאות רבות, מילים משובשות ורעש שנובע מדפים פגומים, כריכות צמודות או דיו דהוי. איכות הזיהוי נמוכה משמעותית בספרים מוקדמים מלפני המאה ה־18, ולעיתים קרובות מילים נדירות מקבלות ציון ביטחון נמוך גם כשהן תקינות.
האוסף מוטה באופן כבד לשפה האנגלית, שמהווה מעל 10 מיליון עמודים מתוך הסך הכולל, בעוד שפות אחרות מיוצגות במקטעים קטנים בהרבה. בנוסף, חלוקת השפות במטא-דאטה התבססה לעיתים על זיהוי חישובי, והיא אינה מדויקת לחלוטין. עברית אינה נכללת בשפות המרכזיות של המאגר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר זמין תחת רישיון CC0 המקנה מעמד של נחלת הכלל. מותר לאמן מודלים, להפיץ מוצרים ולעשות כל שימוש מסחרי ללא תשלום תמלוגים או חובת ייחוס.
האם המאגר כולל טקסטים בעברית?
לא. רשימת השפות המפורטת אינה כוללת עברית, והאוסף מתמקד בעיקר באנגלית לצד שפות אירופיות אחרות כמו צרפתית, גרמנית, ספרדית ואיטלקית.
איך נאספו הנתונים?
הטקסטים נסרקו על ידי הספרייה הבריטית בשיתוף עם מיקרוסופט מתוך ספרים היסטוריים מודפסים. המלל חולץ באמצעות תוכנות זיהוי תווים אופטי, ומשם יוצאו מדדי הביטחון של הזיהוי והמטא-דאטה הביבליוגרפי.
במה המאגר הזה שונה ממאגרי ספרים אחרים?
הייחוד כאן הוא המטא-דאטה ההיסטורי והטכני הנלווה לכל עמוד. קיומם של ציוני ביטחון ל־OCR לצד תאריכי הדפוס מאפשר לסנן טקסט לפי איכות הסריקה ולחקור תקופות זמן מוגדרות ברזולוציה גבוהה.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה, כשהגישה חופשית ואינה דורשת אישור מיוחד. ניתן לבחור באחת התצורות התקופתיות ולהעביר את הפרמטר skip_empty_pages כדי לשלוט בהכללת עמודים ללא טקסט. בשל היקף הנתונים, שנע בין 100 אלף למיליון רשומות ומכיל מיליוני עמודים, מומלץ לעבוד עם טעינה מוזרמת או להגדיר סינון מראש. השדות הקריטיים לעבודה הם text עבור התוכן, date לסינון כרונולוגי, ו־mean_wc_ocr לבקרת איכות הזיהוי.
from datasets import load_dataset
ds = load_dataset("TheBritishLibrary/blbooks")הרישיון
המאגר שוחרר תחת רישיון CC0 1.0 לנחלת הכלל. הוויתור על הזכויות מוחלט, ואין מגבלות על שימוש מסחרי, שינוי הנתונים או הפצתם מחדש. לא חלה חובת ייחוס חוקית או דרישה לשתף נגזרות באותו רישיון, ומודל שאומן על המידע פטור מכל תנאי רישוי מגביל.