reddit_climate_comment

מה זה

הנתונים נאספו ישירות דרך ממשק ה־API של רדיט בעזרת ספריית Praw, ונלקחו מתוך כאלף הפוסטים המובילים בשמונה קהילות מוגדרות: Climate, Energy, RenewableEnergy, ClimateChange, ClimateActionPlan, Environment, Sustainability, ו־ZeroWaste. בסך הכל נכללים 6,650 פוסטים ייחודיים יחד עם התגובות והתשובות שנכתבו תחתיהם.

המבנה של הרשומות היררכי ומקשר בין הפוסט לתגובות ולתשובות המשורשרות. הקבצים מכילים מזהה פוסט ייחודי, שמות כותבים, תוכן הטקסט, חותמות זמן שהומרו לפורמט UTC ותאריכים סטנדרטיים, וכן נתוני הצבעות בעד. תאים ריקים עברו ניקוי והומרו לערכי None כדי לשמור על עקביות בטעינה.

מתאים ל

• ניתוח סנטימנט באקלים

  אימון ובדיקה של מודלים לזיהוי עמדות רגשיות ודעות כלפי אנרגיה נקייה וקיימות.

• מידול נושאים ברשת

  חילוץ נושאי שיחה עיקריים ומגמות מתוך דיונים סביבתיים בפורומים גדולים.

• סיווג היררכיית שיחה

  ניתוח האופן שבו תגובות ותשובות מתפתחות בדיונים מרובי משתתפים.

איפה זה נופל

כל הטקסטים נאספו ביומיים ספציפיים, 21 ו־22 בפברואר 2024, ומתוך הפוסטים המובילים בלבד. הדבר יוצר הטיה מובנית לטובת דעות פופולריות בקהילות סביבתיות ואינו משקף דעות שוליים או תגובות שנמחקו. השפה היא אנגלית בלבד, ואין ייצוג לעברית או לשיח ישראלי מקומי. בנוסף, חל איסור מפורש להשתמש במידע כדי לזהות או לעקוב אחרי משתמשים בודדים.

איך טוענים

טוענים את המאגר ישירות מקובץ comment.parquet ששמור במאגר, או באמצעות ספריית datasets של Hugging Face בלי צורך באישור גישה מיוחד. בתוך המאגר נמצאים גם סקריפטים של פייתון כמו reddit_collect_data.py שמראים איך המידע נשלף. השדות העיקריים לעבודה כוללים את תוכן התגובות, מזהה הפוסט, שיוך לקהילה, וההיררכיה שבין תגובה ראשית לתשובה.

from datasets import load_dataset

ds = load_dataset("cathw/reddit_climate_comment")

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שחל על מבנה הנתונים, המטא-דאטה וסקריפטי העיבוד. עם זאת, התוכן עצמו נכתב על ידי משתמשי רדיט וכפוף לתנאי השימוש של רדיט ולזכויות היוצרים של הכותבים. מי שמפתח מודל מסחרי צריך לקחת בחשבון את המגבלות של שימוש בתוכן גולשים מרדיט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗