yelp_polarity
קוד פתוחfancyzhxרישיון לא דווח2022-03-02
מאגר ענק של כמעט שש מאות אלף ביקורות משתמשים באנגלית לסיווג סנטימנט בינארי. הוא מתאים למי שרוצה לאמן או לבחון מודל טקסט על דוגמאות קוטביות וחד משמעיות.
- 10,058הורדות בחודש
- 23לייקים
מה זה
הנתונים נלקחו מתוך אתגר הנתונים של חברת Yelp בשנת 2015, ועובדו על ידי שיאנג ג'אנג כבנצ'מרק למאמר אקדמי על רשתות קונבולוציה לטקסט. המאגר מורכב משני שדות בלבד, טקסט הביקורת המקורי ותווית קוטביות. החוקרים חילקו את הביקורות לפי דירוג הכוכבים, כאשר כוכב אחד או שניים הוגדרו כסנטימנט שלילי, וכוכבים שלוש וארבע הוגדרו כחיוביים.
המאגר כולל חלוקה מובנית וקבועה לשני חלקים מאוזנים לחלוטין. בסט האימון יש 560,000 דוגמאות, מתוכן בדיוק 280,000 חיוביות ו־280,000 שליליות. בסט המבחן יש 38,000 דוגמאות, מחולקות שווה בשווה ל־19,000 מכל צד. הדגימה מתוך המאגר המקורי נעשתה באופן אקראי כדי לשמור על איזון מלא בין שתי הקטגוריות.
מתאים ל
- אימון מסווג רגש
אימון מודלים לסיווג בינארי בסיסי של טקסטים ארוכים באנגלית לרגש חיובי או שלילי.
- בנצ'מרק למודלי שפה
השוואת ביצועים מול מאמרים קודמים שבדקו ארכיטקטורות טקסט על אותו סט מבחן קבוע.
- בדיקת עמידות לביקורות
הערכת היכולת של מודלים להתמודד עם שפה מדוברת וטעויות כתיב של משתמשי רשת.
איפה זה נופל
הטקסטים כולם באנגלית ומבוססים על נתונים משנת 2015, כך שהם לא משקפים סלנג עדכני או שינויים בשפה. בנוסף, ההחלטה לסווג שלושה כוכבים כסנטימנט חיובי בעייתית, כי ביקורת כזו היא לרוב ניטרלית או פושרת. הכרטיס לא מציין סינון של פרטים מזהים, ולכן תמצאו שם שמות אמיתיים של אנשי מקצוע ובתי עסק. אין שום תמיכה בעברית.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון הרשמי לא מצוין בכרטיס המאגר. המקור הוא פרויקט אתגר של חברת Yelp, ולכן אין היתר שימוש מסחרי מפורש ולא כדאי להכניס אותו למוצר.
האם הדאטהסט כולל טקסטים בעברית?
לא. המאגר מכיל ביקורות שנכתבו כולן באנגלית בלבד עבור עסקים שהופיעו בפלטפורמה.
כמה מקום בדיסק צריך כדי לעבוד איתו?
ההורדה שוקלת 166.38 מגה בייט. לאחר יצירת הקבצים המלאים בדיסק, המאגר תופס 608.12 מגה בייט בסך הכל.
איך סווגו הביקורות לחיובי ושלילי?
הסיווג התבסס על כוכבי הדירוג של המשתמשים. דירוגים של כוכב אחד ושני כוכבים נחשבים שליליים, ושלושה או ארבעה כוכבים נחשבים חיוביים.
איך טוענים
טוענים את המאגר ישירות בספריית datasets בלי צורך באישור גישה או הרשמה מיוחדת. הקבצים שמורים בפורמט parquet, שוקלים כ־166.38 מגה בייט להורדה ותופסים סך הכל 608.12 מגה בייט בדיסק לאחר פריסה. המבנה פשוט מאוד ומכיל רק את השדות text ו־label, כך שאין צורך בעיבוד מקדים מורכב לפני תחילת העבודה.
from datasets import load_dataset
ds = load_dataset("fancyzhx/yelp_polarity")הרישיון
הרישיון לא דווח בעמוד המאגר. בגלל שמקור הנתונים הוא בתחרות פנימית של חברת Yelp מ־2015, אי אפשר להניח שמותר להשתמש בהם למטרות מסחריות או להפיץ מודל סגור שאומן עליהם. כל שימוש מחוץ למחקר אקדמי ולניסויים פנימיים הוא סיכון משפטי ברור.