gutenberg-poetry-corpus

מה זה

הנתונים מורכבים משורות שירה בודדות שנשלפו מתוך מאות ספרים בפרויקט גוטנברג על ידי אליסון פאריש. המבנה שטוח ופשוט מאוד. כל רשומה כוללת שורה אחת של טקסט ואת המזהה המספרי של הספר המקורי בגוטנברג, כך שאין כאן בתים שלמים או חלוקה מובנית לשירים, אלא רק רצף שורות חתוכות.

המאגר כולל 3,085,117 שורות שמקורן ב־1,191 ספרים שונים. אין פיצול מובנה לחלקי אימון, בדיקה או ולידציה, וכל המידע יושב בקובץ אחד. מי שרוצה לדעת בדיוק איך הטקסט סונן ונשלף מתוך ספרי המקור יצטרך לבדוק במאגר הגיטהאב של פאריש, כי הכרטיס הנוכחי לא מפרט את לוגיקת הסינון.

מתאים ל

• אימון מודלי יצירת שירה

  לימוד משקלים, חריזה ומבנים שיריים באנגלית ישנה על בסיס מיליוני דוגמאות.

• השלמת שורות אוטומטית

  בניית מנוע שמציע המשך לשורת שיר קיימת לפי סגנון כתיבה קלאסי.

• מחקר בלשני היסטורי

  ניתוח סטטיסטי של אוצר מילים ומבנים תחביריים בשירה אנגלית מתוך מאות ספרים.

איפה זה נופל

הטקסט כולו באנגלית בלבד ואין פה מילה אחת בעברית. המקור הוא פרויקט גוטנברג, מה שאומר שמדובר ביצירות ישנות מאוד שפגו זכויות היוצרים שלהן. השפה ארכאית, המשלב גבוה, ואוצר המילים רחוק מאוד מאיך שאנשים כותבים או מדברים כיום. בנוסף, חיתוך הטקסט לשורות בודדות מוחק הקשרים ספרותיים רחבים, ולא הייתי מכניס את זה למוצר שצריך לנתח שירה מודרנית או שפה טבעית עכשווית.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets באנגלית עם המזהה biglam/gutenberg-poetry-corpus. הגישה חופשית לגמרי ואין צורך באישורים או מפתחות. המידע מגיע כקובץ parquet יחיד שמכיל שני שדות בלבד, line ו־gutenberg_id. בגלל שמדובר ביותר משלושה מיליון שורות טקסט קצרות, כדאי לקבץ אותן אם אתם מתכננים אימון שדורש הקשר רחב יותר משורה בודדת.

from datasets import load_dataset

ds = load_dataset("biglam/gutenberg-poetry-corpus")

הרישיון

המאגר שוחרר תחת רישיון cc0-1.0, שזה למעשה נחלת הכלל. מותר להשתמש בו לכל מטרה, כולל שימוש מסחרי מלא, שינוי הנתונים ואימון מודלים, בלי חובת ייחוס ובלי דרישה לשתף את התוצרים באותו רישיון.

הרישיון המלא ב־Hugging Face ↗