poetry
קוד פתוחmerveרישיון לא דווח2022-03-02
המאגר מרכז שירים באנגלית משתי תקופות היסטוריות לפי שלושה נושאים מוגדרים. הוא מיועד בעיקר למי שמחפש טקסטים קלאסיים ומודרניים למשימות סיווג וניתוח ספרותי.
- 382הורדות בחודש
- 35לייקים
מה זה
הנתונים מגיעים מאתר poetryfoundation.com, דרך פרויקט קודם שפורסם ב־Kaggle. כל רשומה כוללת שיר יחד עם מטא-דאטה בסיסי שמחולק לחמש עמודות: תוכן השיר, שם המשורר, כותרת השיר, תקופת הזמן וסוג היצירה. הטקסטים שייכים לשתי תקופות בלבד, הרנסאנס והתקופה המודרנית, ומסווגים לשלושה נושאים: אהבה, טבע, ומיתולוגיה ופולקלור.
המאגר מוגדר כחלק אימון בלבד, בלי חלוקה מובנית לולידציה או בדיקה, כך שצריך לפצל אותו עצמאית לפני תחילת העבודה. מעבר לכך, כרטיס הדאטהסט כמעט ריק מפרטים טכניים. אין בו תיעוד על אופן איסוף השירים מהאתר, תהליך הניקוי, או הקריטריונים שקבעו אילו שירים נכנסו ואילו נשארו בחוץ.
מתאים ל
- סיווג שירים לפי נושא
אימון מודל שיבדיל בין שירי אהבה, טבע ומיתולוגיה.
- זיהוי תקופת כתיבה
בניית מסווג שמבחין בין אנגלית של תקופת הרנסאנס לבין שירה מודרנית.
- התאמת טקסט למשורר
ניתוח סגנון אישי וחיזוי שם היוצר לפי תוכן השיר.
איפה זה נופל
הכרטיס לא מספק מידע על גודל המאגר, כמות הרשומות או הטיות אפשריות, ומשאיר את רוב השדות הטכניים ריקים. השפה היחידה כאן היא אנגלית, כך שאין שום תמיכה בעברית. בנוסף, המיקוד בשתי תקופות ושלושה נושאים ספציפיים מגביל מאוד את היכולת להכליל למקורות ספרותיים רחבים יותר. שירים מתקופת הרנסאנס כוללים מבנים תחביריים ומילים ארכאיות שלא מייצגות שפה מודרנית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ בכלל. הרישיון מוגדר כלא ידוע, וחלק מהשירים שייכים לתקופה המודרנית ועלולים להיות תחת זכויות יוצרים מלאות. שימוש מסחרי ללא בדיקה משפטית של כל שיר חושף אתכם לתביעות.
האם יש במאגר שירים בעברית?
לא, המאגר כולל אך ורק שירים בשפה האנגלית. אין בו שום ייצוג לעברית או לשפות נוספות מעבר לאנגלית מודרנית ומוקדמת.
מאיפה הנתונים נלקחו ואיך הם נאספו?
הטקסטים נאספו מאתר poetryfoundation.com והועלו במקור לפרויקט ניתוח ב־Kaggle. הכרטיס אינו מתעד את תהליך הגרידה, הסינון או הניקוי שבוצעו בדרך.
איך המידע מחולק בתוך הקובץ?
הקובץ poetry.csv מכיל חמש עמודות מסודרות: תוכן היצירה, שם המשורר, כותרת השיר, תקופת הזמן ונושא השיר. כל הנתונים נמצאים בחלק אימון יחיד, ללא חלוקה לטסט או ולידציה.
איך טוענים
טוענים את הדאטה ישירות דרך ספריית datasets באמצעות המזהה merve/poetry. המאגר פתוח לציבור ואינו דורש הרשמה מיוחדת או אישור גישה מראש. הקובץ המרכזי בפנים הוא poetry.csv, המכיל את השדות Content, Author, Poem name, Age ו־Type. לפני שמתחילים לעבוד, קחו בחשבון שאין חלוקת נתונים מוגדרת מראש, והטקסטים שמורים בפורמט טבלאי פשוט.
from datasets import load_dataset
ds = load_dataset("merve/poetry")הרישיון
הרישיון של המאגר אינו ידוע ולא דווח בכרטיס המקור. שירים מהתקופה המודרנית עלולים להיות מוגנים בזכויות יוצרים, בייחוד כשהמקור הראשוני הוא אתר חיצוני. מבחינה משפטית, היעדר רישיון ברור אומר שאסור להשתמש בנתונים האלה למוצר מסחרי, ואימון מודל עליהם יוצר סיכון משפטי לא מבוטל.