German-PD
קוד פתוחPleIAsרישיון לא דווח2024-03-18
מאגר ענק של ספרים וכתבי עת בגרמנית שנמצאים בנחלת הכלל. מי שמאמן מודלים שפתיים ומחפש טקסט נקי מתביעות זכויות יוצרים ימצא כאן עשרות מיליארדי מילים פתוחות לחלוטין.
- 2,167הורדות בחודש
- 15לייקים
מה זה
המאגר כולל 260,638 טקסטים מלאים של ספרים וכתבי עת, שמצטברים לכדי יותר מ־37 מיליארד מילים בגרמנית. החומרים נאספו מתוך ארכיון האינטרנט ומספריות לאומיות ומוסדות מורשת שונים ברחבי אירופה. החומר מחולק לקבצים שכל אחד מהם מאגד 2,000 ספרים שנדגמו באופן אקראי.
הסינון התבסס באופן ישיר על חוקי זכויות היוצרים באיחוד האירופי ובמדינות אמנת ברן. נכללו בו רק יצירות שהמחברים שלהן נפטרו לפני יותר משבעים שנה, לצד יישום סעיף 14 לדירקטיבת זכויות היוצרים האירופית מ־2019, הקובע שרפרודוקציה של יצירה שפגה הגנתה אינה מייצרת זכויות יוצרים חדשות.
מתאים ל
- אימון מקדים למודלי שפה
הזנת כמויות ענק של טקסט גרמני איכותי למודלים שפתיים ללא חשש מתביעות יוצרים.
- מחקר בלשני והיסטורי
ניתוח התפתחות השפה הגרמנית, המבנה התחבירי שלה וספרות העבר במאות קודמות.
- פיתוח כלי תיקון OCR
בחינת מודלים לזיהוי ותיקון שגיאות סריקה של מסמכים היסטוריים מודפסים.
איפה זה נופל
כל הטקסטים עברו המרה ממוחשבת מבוססת OCR, שחלקה בוצע עוד באמצע שנות האלפיים. התוצאה כוללת שגיאות סריקה, בעיות פענוח של טבלאות ופריסות מרובות עמודות, ונוכחות של רכיבים לא רצויים כמו כותרות עמודים ומספרי עמודים שדורשים ניקוי לפני אימון. בנוסף, מדובר בספרות ישנה של מחברים שנפטרו לפני שבעים שנה לפחות, כך שהשפה ארכאית ואינה כוללת גרמנית מודרנית או עברית.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצרים מסחריים?
כן, לפי כרטיס המאגר כל היצירות נמצאות בנחלת הכלל וזכויות היוצרים עליהן פגו. המשמעות היא שניתן לאמן עליהן מודלים ולהפיץ אותם גם לשימושים מסחריים ללא תשלום תמלוגים.
האם הדאטהסט כולל טקסטים בעברית?
לא, המאגר מתמקד בספרים וכתבי עת בגרמנית בלבד. אם המודל שלכם דורש הבנה בעברית, תצטרכו לשלב מקורות מידע אחרים לחלוטין.
איך נאספו הטקסטים למאגר?
החומרים לוקטו מסריקות דיגיטליות של ארכיון האינטרנט ומספריות לאומיות ומוסדות תרבות באירופה. הליקוט כלל רק יצירות שעונות להגדרה המשפטית של נחלת הכלל, שבהן עברו לפחות שבעים שנה ממות המחבר.
האם הטקסטים מוכנים ישירות להזנה למודל?
לא מומלץ להזין אותם מיד ללא עיבוד מקדים. הסריקות ישנות וחלקן סובלות משגיאות OCR, חלוקות עמודה משובשות ושאריות טקסט של מספור עמודים וכותרות ריצה.
איך טוענים
הנתונים מחולקים ל־277 קבצים במבנה Parquet, למשל german_pd_0.parquet ועד german_pd_103.parquet, ללא דרישה להרשאת גישה מיוחדת או אישור מקדים. אין צורך להוריד את כל המאגר בבת אחת אם רוצים רק לדגום, משום שכל קובץ עומד בפני עצמו ומכיל טקסט מלא של 2,000 ספרים אקראיים.
from datasets import load_dataset
ds = load_dataset("PleIAs/German-PD")הרישיון
החומרים עצמם מצויים בנחלת הכלל (Public Domain), מפני שפגו זכויות היוצרים של המחברים. המפרסמים לא בחרו רישיון מוגדר בקובץ המטא-דאטה, אך הצהירו שהטקסט חופשי לשימוש, אימון מודלים והפצה חוזרת ללא מגבלות מסחריות או דרישות שיתוף זהה.