LoC-PD-Books
קוד פתוחstorytracercc0-1.02024-03-12
מעל 140,000 ספרים שנסרקו על ידי ספריית הקונגרס נמצאים כאן בנחלת הכלל. אם אתם צריכים טקסט היסטורי באנגלית בלי להסתבך עם זכויות יוצרים, זה בדיוק המקום.
- 1,058הורדות בחודש
- 42לייקים
מה זה
המאגר מרכז מעל 140,000 ספרים שנסרקו, הכוללים כעשרים ותשעה מיליון עמודים וכשמונה מיליארד מילים. כל החומר נאסף מתוך האוסף הנבחר של ספרים דיגיטליים בספריית הקונגרס האמריקאית, באמצעות ה־API הרשמי שלהם בפורמט JSON, וסונן כך שיכלול רק יצירות שהוגדרו באנגלית.
המבנה של כל רשומה פשוט ומכיל מטא-דאטה בסיסי לצד התוכן המלא. תמצאו שם את מזהה הספר בספרייה, שם הכותר, שם המחבר, שנת ההוצאה לאור, מספר העמודים, שם קובץ המקור וטקסט ה־OCR המלא. הטקסטים עצמם מגיעים ישירות מתהליך הזיהוי האופטי של ספריית הקונגרס, ללא עיבוד שפה נוסף מעבר למה שחולץ מהסריקות המקוריות.
מתאים ל
- אימון מקדים למודלי שפה
הזנה של מיליארדי מילים באנגלית נקייה מסיכוני זכויות יוצרים ישירות לשלבי האימון הראשונים.
- מחקר בלשני והיסטורי
ניתוח מגמות לשוניות, התפתחות אוצר מילים ושינויי סגנון בספרות לאורך מאות שנים.
- ניקוי ותיקון שגיאות סריקה
בניית מודלים ייעודיים לזיהוי ותיקון שגיאות OCR על גבי טקסטים סרוקים ישנים.
איפה זה נופל
הטקסט כולו מבוסס על סריקות OCR שביצעה ספריית הקונגרס, כך שיש לקחת בחשבון שגיאות פענוח טיפוסיות, תווים שבורים ורעש שמאפיין מסמכים היסטוריים. המאגר כולל אך ורק אנגלית ומכיל יצירות שהגיעו לנחלת הכלל, מה שאומר שמדובר בעיקר בטקסטים ישנים בעלי שפה ארכאית והטיות היסטוריות מובהקות. אם אתם בונים מודל שאמור להבין עברית או אנגלית מודרנית ועדכנית, הנתונים האלה לא יספיקו לבדם.
שאלות
נפוצות
האם מותר להשתמש במידע לפרויקט מסחרי?
כן. הספרים מוגדרים בנחלת הכלל בארצות הברית והמאגר עצמו פורסם תחת רישיון CC0. אפשר לאמן עליו מודלים מסחריים בלי לשלם תמלוגים ובלי חובת מתן קרדיט.
כמה שטח אחסון צריך כדי לעבוד איתו?
ההורדה שוקלת עשרים ושישה ג'יגה-בייט בקבצי Parquet דחוסים. לאחר פריקה מלאה של הטקסט, המאגר תופס כארבעים ושבעה ג'יגה-בייט על הדיסק.
האם יש במאגר ספרים בעברית?
לא. האוסף סונן מראש בצורה מוחלטת דרך ה־API של ספריית הקונגרס כך שיכלול אך ורק ספרים שסווגו באנגלית.
איך הטקסט חולץ מהספרים המקוריים?
התוכן לא הוקלד ידנית אלא עבר תהליך OCR על ידי ספריית הקונגרס. המשמעות היא שקיימות פה ושם שגיאות זיהוי של אותיות ומילים מודפסות.
איך טוענים
הנתונים מחולקים למאה שלושים ושמונה קבצי Parquet דחוסים בנפח כולל של עשרים ושישה ג'יגה-בייט, שמתרחבים לכארבעים ושבעה ג'יגה-בייט כשהם פתוחים. כל קובץ כזה מכיל לכל היותר אלף ספרים. אין צורך באישור גישה כדי להוריד את המידע. שדות המפתח שתרצו לעבוד איתם הם text שמכיל את גוף הספר, ו־year יחד עם lccn אם אתם צריכים לסנן תקופות או לבדוק את המקור באתר הספרייה.
from datasets import load_dataset
ds = load_dataset("storytracer/LoC-PD-Books")הרישיון
המאגר מופץ תחת רישיון CC0, והספרים עצמם נמצאים בנחלת הכלל בארצות הברית לפי הצהרת ספריית הקונגרס. מותר להשתמש בהם לכל מטרה, כולל אימון מודלים מסחריים, ללא חובת ייחוס וללא דרישה לשתף את התוצרים ברישיון זהה. עם זאת, היוצר מציין שעל המשתמש לוודא התאמה לדיני זכויות היוצרים בתחום השיפוט שלו.