Gutenberg-BookCorpus-Cleaned-Data-English
קוד פתוחincredible45רישיון לא דווח2025-03-21
טקסטים באנגלית מתוך פרויקט גוטנברג שעברו ניקוי מסימנים טכניים ומשפטי מערכת. מקור טוב למי שצריך ספרות ישנה בנחלת הכלל לאימון מודלים, בלי לנקות את הקבצים בעצמו.
- 1,229הורדות בחודש
- 15לייקים
מה זה
המאגר מבוסס על אוסף של מעל 75,000 ספרים ומטא-דאטה מקגל, שמקורם המקורי בספרייה הדיגיטלית של פרויקט גוטנברג. היוצר לקח את היצירות שנמצאות בנחלת הכלל בארצות הברית, סינן אותן רק לתכנים באנגלית, והריץ עליהן סקריפט ניקוי ייעודי.
כל רשומה מייצגת ספר שלם וכוללת חמישה שדות: מזהה ייחודי של הספר, כותרת, שמות המחברים, תאריך הפרסום או ההוספה לאוסף, ותוכן הספר המלא בקידוד טקסט נקי. הנתונים מחולקים ל־44 קבצי פרקט שונים, ללא חלוקה מוגדרת מראש לסטים של אימון או בדיקה.
תהליך הניקוי התמקד בהסרת רעשים אופייניים לפרויקט. הסקריפט חתך את כל מה שמופיע לפני ואחרי תגיות ההתחלה והסיום הקבועות, מחק בלוקים שמוסגרו בסימני שוויון או כוכביות, הסיר הודעות טקסט קטן, והעיף כל משפט שמכיל את המילה גוטנברג בכל צורת כתיבה.
מתאים ל
- אימון מקדים למודלי שפה
אימון ראשוני של מודלים על טקסט אנגלי ארוך ורציף בלי לשלם על זכויות יוצרים.
- בניית מודלי שיבוץ
יצירת וקטורים עבור מנועי חיפוש ומערכות המלצה לספרות ולטקסטים קלאסיים.
- מחקר בלשנות היסטורית
ניתוח שינויים תחביריים, ניתוח סנטימנט וסיווג נושאים בספרות מהמאות הקודמות.
איפה זה נופל
כל הטקסטים נשענים על ספרות ישנה שזכויות היוצרים עליה בארצות הברית פגו. זה אומר שהשפה ארכאית, המבנים התחביריים ישנים, ואין כאן שום ייצוג לסלנג מודרני, מונחים טכנולוגיים עכשוויים או שיח יומיומי עדכני. מי שמחפש עברית לא ימצא כאן כלום, המאגר מוגבל לאנגלית בלבד.
ניקוי הטקסט התבסס על כללים מוגדרים מראש, מה שעלול למחוק משפטים לגיטימיים אם הופיעה בהם בטעות המילה גוטנברג, או להשאיר פגמים ביצירות שלא עמדו במבנה התגיות הסטנדרטי. לא הייתי דוחף את זה למוצר שמיועד לשיחה מודרנית.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא, המאגר עבר סינון מכוון ומכיל אך ורק תכנים בשפה האנגלית. מי שמחפש מקורות לספרות ישנה בעברית יצטרך לפנות לפרויקטים אחרים כמו פרויקט בן-יהודה.
מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
היוצר לא הגדיר רישיון רשמי במאגר, אף שהוא טוען שהחומרים בנחלת הכלל בארצות הברית ולכן מותרים לכל שימוש. בהיעדר רישיון מוגדר בהוגינג פייס, אי אפשר להסתמך על זה למוצר מסחרי בלי בדיקה משפטית של המקורות.
איך הנתונים נאספו ועובדו?
הנתונים נלקחו ממאגר קגל של ספרי גוטנברג ועברו הרצה דרך סקריפט פייתון ייעודי. הסקריפט הסיר פתיחים וסיומות של פרויקט גוטנברג, משפטים עם שם הפרויקט, ועיטורים טיפוגרפיים כמו שורות כוכביות וסימני שוויון.
מה ההבדל בין המאגר הזה להורדה ישירה מגוטנברג?
הורדה ישירה מחזירה קבצים גולמיים שמלאים בהצהרות משפטיות, תגיות מערכת ורעשי עימוד שצריך לסנן לבד. כאן הטקסט מגיע כבר חתוך ומאורגן בקבצי פרקט מוכנים לעבודה, עם עמודות מטא-דאטה מסודרות לכל ספר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטים של הוגינג פייס, ללא צורך בבקשת גישה או אישור מיוחד. המאגר כולל 45 קבצים, מתוכם 44 קבצי פרקט שמתחילים בקידומת טריין. קריאת הטקסט המלא מתבצעת דרך שדה התוכן, כאשר לצורכי סינון וניתוח כדאי להשתמש במקביל בשדות הכותרת, המחבר ותאריך הפרסום. בגלל שמדובר בספרים מלאים בקבצים מרובים, כדאי לשקול טעינה בהזרמה כדי לא לחנוק את הזיכרון בעבודה מקומית.
from datasets import load_dataset
ds = load_dataset("incredible45/Gutenberg-BookCorpus-Cleaned-Data-English")הרישיון
בעמוד המאגר לא דווח רישיון רשמי. היוצר מציין שהטקסטים נלקחו מיצירות שנמצאות בנחלת הכלל בארצות הברית ולכן חופשיות לשימוש בכל מקום, אבל היעדר רישיון מסודר מונע ודאות משפטית. במצב כזה, אימון מודל מסחרי דורש זהירות ובדיקה עצמאית של תנאי השימוש מול מקור הנתונים המקורי.