wrime
קוד פתוחshunk031unknown2023-01-12
פוסטים ביפנית מרשתות חברתיות שמתויגים גם לפי הכותבים עצמם וגם לפי קוראים חיצוניים. מאפשר לנתח את הפער בין מה שהכותב באמת הרגיש לבין איך שהטקסט נקלט אצל אחרים.
- 183הורדות בחודש
- 27לייקים
מה זה
כל רשומה מייצגת פוסט מקורי שנאסף מרשת חברתית ביפן. במחקר גייסו 50 משתתפים דרך מיקור המונים, וביקשו מהם לתייג את הפוסטים הישנים של עצמם לפי עוצמת שמונה הרגשות של פלוצ'יק, בסולם של ארבע דרגות מאין ועד חזק. במקביל, שלושה מתייגים חיצוניים עברו על אותם פוסטים בדיוק ודירגו אותם באופן אובייקטיבי, כך שהמאגר כולל גם את הפירוט של כל קורא וגם את הממוצע ביניהם.
המבנה מחולק לשתי גרסאות טעינה עיקריות. גרסה 1 כוללת 40,000 שורות באימון, 1,200 באימות ו־2,000 במבחן, עם שדות טקסט, מזהה משתמש, תאריך וציוני רגש. גרסה 2 מציעה חלוקה של 30,000 שורות אימון, 2,500 אימות ו־2,500 מבחן, ומוסיפה לכל המדרגים גם תיוג של קוטביות רגשית כללית.
מתאים ל
- ניתוח רגשות ביפנית
אימון וכיול של מסווגי טקסט להערכת שמונה רגשות בסיסיים וקוטביות בפוסטים ברשת.
- חקר פער כותב-קורא
השוואה מחקרית בין הכוונה הרגשית של כותב הטקסט לבין האופן שבו קוראים חיצוניים מפרשים אותו.
- הערכת מודלי שפה ביפן
מבחן ביצועים למודלים ביפנית במשימות הבנת ניואנסים סובייקטיביים של סלנג ורשתות.
איפה זה נופל
הטקסטים כולם ביפנית בלבד ונאספו מ־50 משתמשים בלבד ברשת חברתית. זה מדגם צר מאוד שיוצר הטיה מובהקת לסגנון הכתיבה וההרגלים של קבוצה קטנה. בנוסף, הדירוג החיצוני נשען על שלושה מתייגים בלבד לכל הדאטה, כך שכל סטייה בשיפוט שלהם משפיעה על התוצאות. הכרטיס לא מציין מתי בדיוק נאספו הפוסטים או כיצד בוצע סינון של פרטי זיהוי אישיים, כך שיש לוודא שאין שם דליפת פרטיות לפני כל שימוש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. לפי עמוד הפרויקט המקורי, המאגר מיועד למטרות מחקר בלבד וחל איסור להפיץ אותו. אם אתם בונים שירות שמייצר הכנסות או מודל מסחרי, המאגר הזה פסול לשימוש.
האם יש בדאטהסט תמיכה בעברית או באנגלית?
אין שום תמיכה בשפות אחרות. כל הפוסטים נכתבו ביפנית בלבד ונאספו ממשתמשים מקומיים, כך שהוא מיועד אך ורק למשימות עיבוד שפה טבעית ביפנית.
מה ההבדל בין גרסה 1 לגרסה 2?
ההבדל מתבטא בחלוקת הנתונים ובתוספת של שדה sentiment שמודד קוטביות רגשית כללית אצל הכותב והקוראים. גרסה 1 כוללת 40,000 רשומות אימון ללא קוטביות, וגרסה 2 מציעה 30,000 רשומות אימון עם שדה הקוטביות הנוסף.
מאיפה הגיעו הנתונים ואיך תייגו אותם?
הטקסטים נלקחו מפוסטים ישנים של 50 משתתפים ברשת חברתית. המשתתפים דירגו בעצמם את הרגש שחשו כשכתבו, ובמקביל צוות של שלושה מתייגים קרא את כל הפוסטים ודירג אותם באופן אובייקטיבי לפי שמונה רגשות.
איך טוענים
טוענים את המאגר ישירות בספריית datasets עם shunk031/wrime, אבל חובה לציין את הגרסה הרצויה בפרמטר name, כמו ver1 או ver2. המאגר פתוח להורדה בלי צורך באישור גישה מראש. השדות המרכזיים לעבודה הם sentence שמכיל את הטקסט היפני, writer עבור הרגש הסובייקטיבי של הכותב, והמילונים reader1 עד reader3 לצד avg_readers עבור ציוני הקוראים.
from datasets import load_dataset
ds = load_dataset("shunk031/wrime")הרישיון
הרישיון המוגדר במערכת הוא unknown, אבל התיעוד מפנה למקור בגיטהאב ושם התנאים ברורים ונוקשים: השימוש מותר לצורכי מחקר בלבד, וחל איסור מוחלט על הפצה מחדש. המשמעות ברורה, אי אפשר לשלב את המידע במוצר מסחרי, לאמן מודל מסחרי או לחלק עותקים של הנתונים הלאה.