Yelpdata_663
קוד פתוחJohnnyeeeרישיון לא דווח2024-02-18
המאגר מרכז ביקורות מסעדות מתוך הדאטהסט האקדמי של Yelp, מסוננות ומחוברות לפרטי העסק. הוא מתאים למי שרוצה לעבוד ישירות על טקסטים של ביקורות באנגלית בלי לעבד את קובצי המקור.
- 152הורדות בחודש
- 32לייקים
מה זה
מקור הנתונים הוא הדאטהסט הרשמי של Yelp, שממנו נלקחו רק שני קבצים: קובץ העסקים וקובץ הביקורות. היוצר ביצע מיזוג פנימי לפי מזהה העסק, סינן החוצה כל עסק שאינו מסעדה, וערבב את השורות. כל רשומה כוללת את טקסט הביקורת, הדירוג שנתן המשתמש, תאריך הפרסום, ופרטים מלאים על בית העסק עצמו כמו מיקום גיאוגרפי, קטגוריות, שעות פעילות ומאפיינים תפעוליים.
המאגר מחולק לשני קובצי Parquet ביחס של 80 ל־20. קובץ האימון כולל 3,778,658 שורות במשקל של 2.26 ג'יגה בייט, וקובץ הבדיקה כולל 943,408 שורות במשקל של 591 מגה בייט. הטקסטים כולם באנגלית ומבוססים על תוכן גולשים שנכתב במקור בפלטפורמה.
מתאים ל
- ניתוח סנטימנט בביקורות
אימון מודלים לסיווג רגש חיובי, שלילי או ניטרלי מתוך טקסט חופשי של לקוחות באנגלית.
- חיזוי דירוגי כוכבים
בניית מודלי רגרסיה שמנחשים את הציון המספרי לפי תוכן הביקורת ומאפייני המסעדה.
- מערכות המלצה לעסקים
פיתוח אלגוריתמים להתאמת מסעדות למשתמשים על בסיס היסטוריית ביקורות ודפוסי דירוג.
איפה זה נופל
הנתונים מוטים מאוד מבחינה גיאוגרפית ודמוגרפית ומייצגים בעיקר אזורים בארצות הברית שבהם Yelp פופולרית, לצד קהל משתמשים בעל מאפיינים ספציפיים. אין פה אף מילה בעברית ואין רלוונטיות לשוק המקומי בישראל. בנוסף, קיימת הטיית קיצון מובנית בביקורות גולשים, שנוטים לכתוב בעיקר אחרי חוויה מעולה או גרועה במיוחד. שדות כמו שעות פעילות ומאפייני עסק מכילים ערכים חסרים, והמידע משקף תמונת מצב היסטורית ללא עדכונים חיים על סגירת מקומות או שינויי תפריט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. המאגר נשען על נתוני Yelp שמחייבים הסכם שימוש אקדמי וחינוכי בלבד. שימוש בנתונים או במודל שאומן עליהם בתוך מוצר מסחרי מפר את תנאי הפלטפורמה.
האם יש במאגר ביקורות בעברית?
אין שום תוכן בעברית. כל הנתונים מורכבים מטקסטים באנגלית שנאספו מפעילות Yelp במדינות דוברות אנגלית, בעיקר בצפון אמריקה.
כמה מקום צריך לפנות כדי לעבוד איתו?
הקבצים שוקלים קצת פחות מ־3 ג'יגה בייט בפורמט Parquet דחוס. בפועל, בעת טעינה לזיכרון של pandas או עיבוד טקסט מומלץ להחזיק לפחות 8 עד 16 ג'יגה בייט של RAM פנוי.
מה ההבדל בינו לבין ההורדה הרשמית של Yelp?
ההורדה הרשמית של Yelp כוללת חמישה קובצי JSON כבדים עם עסקים מכל התחומים, צ'ק-אינים וטיפים. כאן היוצר כבר ביצע את הסינון למסעדות בלבד, חיבר את פרטי העסק לכל ביקורת, וחילק את המידע לסט אימון ובדיקה.
איך טוענים
טוענים את המאגר ישירות בספריית datasets עם הקריאה load_dataset("Johnnyeee/Yelpdata_663", trust_remote_code=True). חובה להפעיל את הרצת הקוד המרוחק כי הטעינה נשענת על סקריפט פייתון ייעודי שממיר את הנתונים. נפח ההורדה הכולל עומד על קרוב לשלושה ג'יגה בייט, כך שצריך לוודא זיכרון עבודה מספק. השדות המרכזיים לעבודה הם text עבור תוכן הביקורת, stars_y עבור הדירוג הספציפי שנתן הכותב, ו־stars_x שמייצג את הממוצע הכללי של המסעדה.
from datasets import load_dataset
ds = load_dataset("Johnnyeee/Yelpdata_663")הרישיון
היוצר לא הגדיר רישיון בעמוד המאגר, אבל הנתונים מבוססים על הסכם השימוש של Yelp Dataset. ההסכם המקורי מגביל את השימוש למטרות אקדמיות וחינוכיות בלבד ואוסר במפורש שימוש מסחרי. אסור לבנות על בסיסו מוצרים מסחריים, מודלים שיימכרו בתשלום, או שירותים עסקיים, ומודל שאומן עליו מוגבל לאותם תנאים מחמירים.