defunct-datasets/amazon_reviews_multi
קוד פתוחdefunct-datasetsother2022-03-02
ביקורות מוצרים מאמזון בשש שפות עם דירוגי כוכבים מאוזנים לחלוטין. המאגר מיועד לאימון מודלים לסיווג רגש, אבל הוא סגור להורדה ולא נגיש יותר במקור.
- 2,525הורדות בחודש
- 102לייקים
מה זה
המאגר כולל ביקורות של קונים מאומתים שנאספו בין נובמבר 2015 לנובמבר 2019 מאתרי אמזון בארצות הברית, יפן, גרמניה, צרפת, ספרד וסין. כל רשומה מייצגת ביקורת בודדת ומכילה את מזהה הביקורת, מזהה מוצר אנונימי, מזהה משתמש אנונימי, דירוג של 1 עד 5 כוכבים, גוף הטקסט, כותרת, שפה וקטגוריית מוצר רחבה. הטקסטים סוננו כך שאורכם נע בין 20 ל־2,000 תווים, והוגבלו לעד 20 ביקורות למשתמש או למוצר.
החלוקה הפנימית מאוזנת באופן יזום, כאשר כל דירוג כוכבים מהווה בדיוק 20% מהנתונים בכל שפה. בכל שפה הוגדרו 200,000 רשומות לאימון, 5,000 לפיתוח ו־5,000 למבחן. בנוסף קיימת חלוקה שמאחדת את כל השפות יחד. כדי לוודא התאמה לשפה המבוקשת, המפתחים הפעילו אלגוריתם זיהוי שפה שסינן ביקורות שנכתבו בשפה זרה ביחס לשוק המקומי.
מתאים ל
- בנצ'מרק למחקר אקדמי
השוואת ביצועים של מודלים מרובי שפות על סיווג רגש של טקסט לפי דירוג כוכבים.
- סיווג קטגוריות מוצרים
אימון מודל חיזוי לשיוך טקסט חופשי לקטגוריית המוצר הרלוונטית.
- משימות סיכום טקסט
יצירת כותרת מתוך גוף הביקורת או מילוי מסכות בטקסטים מסחריים.
איפה זה נופל
הבעיה המרכזית היא שהדאטהסט לא זמין יותר להורדה. מעבר לכך, האיזון המלאכותי של דירוגי הכוכבים מעוות את המציאות, שבה רוב הביקורות נוטות להיות חיוביות, ולכן מודל שמתאמן עליו עלול להתקשות עם התפלגות טבעית בעולם האמיתי. הנתונים נאספו רק עד סוף 2019 וכוללים שפות חזקות בלבד, ללא עברית. סינון השפות האוטומטי גם שגה במקרים מסוימים ומחק טקסטים תקינים או השאיר שגיאות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון של אמזון מיועד אך ורק למחקר אקדמי טהור. נאסר במפורש כל שימוש שמניב תמורה כספית, כולל התמחויות בתשלום או מחקר לחברות מסחריות.
האם הדאטהסט כולל עברית?
לא. המאגר מוגבל לשש שפות בלבד: אנגלית, גרמנית, צרפתית, ספרדית, יפנית וסינית.
האם אפשר להוריד אותו כרגע?
לא ישירות. המאגר הוגדר כ־defunct והגישה אליו נחסמה בהחלטת ספקי הנתונים של אמזון.
איך נאספו הביקורות?
הנתונים נשלפו משווקי אמזון השונים בין השנים 2015 ל־2019, עבור קונים מאומתים בלבד. לאחר מכן הופעל אלגוריתם זיהוי שפה כדי לסנן ביקורות שלא תואמות לשפת השוק.
איך טוענים
המאגר מסומן כ־defunct ולא ניתן לגשת אליו או להוריד אותו ישירות דרך הספרייה כיוון שספקי הנתונים סגרו את הגישה. במקור הוא נטען דרך סקריפט ייעודי בשם amazon_reviews_multi.py שחילק את הנתונים לפי קודי השפות או כלל השפות יחד. הרשומות הגיעו כמבנה JSON עם שדות טקסט, כותרת, שפה, קטגוריה ודירוג מספרי.
from datasets import load_dataset
ds = load_dataset("defunct-datasets/amazon_reviews_multi")הרישיון
אמזון הגדירה רישיון מחמיר שמגביל את השימוש למחקר אקדמי בלבד. אסור לעשות בו שום שימוש מסחרי, כולל מחקר במימון חיצוני, ייעוץ או התמחות בתשלום. חל איסור מוחלט לנסות לחבר את המידע לחשבונות משתמשים אמיתיים או לחשוף את זהות הכותבים. הפרת התנאים מבטלת את הרישיון מיד, כך שאי אפשר לבנות בעזרתו שום מוצר מסחרי.