poem_sentiment
קוד פתוחgoogle-research-datasetscc-by-4.02022-03-02
חבילת נתונים של שורות שירה מאומתות לתיוג סנטימנט, שמגיעות ישירות מפרויקט גוטנברג. מתאים למי שרוצה לבחון יכולת פענוח רגש בטקסט אמנותי וציורי במקום בציוצים או ביקורות מוצר.
- 1,246הורדות בחודש
- 18לייקים
מה זה
המאגר מורכב משורות שירה באנגלית שנלקחו מפרויקט גוטנברג, ומיועד לסיווג סנטימנט בטקסטים ספרותיים. כל רשומה כוללת מזהה מספרי, את שורת השיר עצמה, ותווית סנטימנט שמחולקת לארבע דרגות: שלילי, חיובי, ללא השפעה רגשית, ומעורב שמכיל גם רגש חיובי וגם שלילי בו זמנית. שאר פרטי הסינון ותהליך התיוג המקורי אינם מפורטים בתיעוד שפורסם.
מבחינת חלוקה, הנתונים מגיעים כבר מפוצלים לשלושה חלקים קבועים: אימון עם 892 דוגמאות, אימות עם 105 דוגמאות, ומבחן עם 104 דוגמאות. הסך הכולל עומד על 1,101 שורות בלבד, כך שמדובר במדגם קטן וממוקד.
מתאים ל
- בדיקת מודלים על שירה
הערכת היכולת של מסווג סנטימנט להתמודד עם משלב ספרותי, מטאפורות ושפה ציורית.
- העברת סגנון שירי
בחינת מודלים שמייצרים או משכתבים שורות שיר תוך שינוי הטון הרגשי.
- מחקר הטיות בספרות
מדידת האופן שבו מערכות יצירת טקסט תופסות סנטימנט בשירי עבר לעומת טקסט מודרני.
איפה זה נופל
זה מדגם זעיר של 1,101 שורות בלבד, כך שלא הייתי בונה עליו כבסיס יחיד לאימון מודל רחב. השפה היא אנגלית בלבד, ובגלל המקור בפרויקט גוטנברג מדובר בשירה ישנה שנמצאת בנחלת הכלל, מה שאומר שהמשלב הלשוני ארכאי ורחוק משפה מודרנית או סלנג עכשווי. אין כאן מילה בעברית. בנוסף, הכרטיס לא מספק מידע על זהות המתייגים או מבחני הסכמה ביניהם.
שאלות
נפוצות
האם מותר להשתמש בנתונים לפרויקט מסחרי?
כן, הרישיון הוא CC-BY 4.0 שמתיר שימוש מסחרי מלא. צריך רק להקפיד על מתן ייחוס למחקר המקורי כפי שמפורט בתיעוד. אין מגבלה על שילוב המודל המאומן בתוך מוצר מסחרי סגור.
האם המאגר כולל טקסטים בעברית?
לא, המאגר כולו באנגלית בלבד. השורות נלקחו מתוך שירה שנמצאת בפרויקט גוטנברג בשפה האנגלית. כדי לעבוד על עברית תצטרכו לתרגם את השורות או לייצר סט נתונים מקומי.
כמה שטח אחסון צריך כדי להוריד אותו?
כמעט כלום. יש במאגר בסך הכל כאלף ומאה שורות שמחולקות לשלושה קובצי Parquet. ההורדה לוקחת שניות בודדות ושוקלת פחות ממגה-בייט אחד על הדיסק.
במה הוא שונה מדאטהסטים רגילים של סנטימנט?
רוב המאגרים מבוססים על ביקורות צרכנים, סרטים או פוסטים ברשתות חברתיות שבהם השפה יומיומית וישירה. כאן מדובר בשורות שירה תקופתיות עם מבנה תחבירי מורכב, רמיזות ומטאפורות. בנוסף יש כאן קטגוריה ייעודית לסנטימנט מעורב, שלא קיימת בכל מאגר בינארי.
איך טוענים
טוענים את הקבצים ישירות מספריות פייתון סטנדרטיות בלי צורך באישור גישה או הרשמה מיוחדת. הנתונים שמורים בשלושה קובצי Parquet נפרדים לפי החלוקה לאימון, אימות ומבחן, בנפח זעיר של כמה עשרות קילובייטים. השדות שמעניינים אתכם הם verse_text שמכיל את הטקסט, ו־label שמחזיק את ערך הסיווג המספרי.
from datasets import load_dataset
ds = load_dataset("google-research-datasets/poem_sentiment")הרישיון
המאגר משוחרר ברישיון cc-by-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במערכות אחרות. התנאי היחיד הוא מתן קרדיט מתאים למחברים המקוריים לפי דרישות הרישיון, ואין חובה לשתף מודלים שתאמנו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס