reddit_political_subs
קוד פתוחmo-mittalרישיון לא דווח2024-03-20
המאגר מרכז פוסטים מובילים מקהילות פוליטיות מרכזיות ברדיט משנת 2014 ואילך. הוא מתאים למי שחוקר שיח פוליטי אמריקאי מקוטב וצריך טקסטים יחד עם תוכן שחולץ מתמונות ומקישורים.
- 29הורדות בחודש
- 27לייקים
מה זה
הנתונים נמשכו מארכיון Pushshift ומכילים פוסטים שנבחרו לפי דירוג הניקוד הגבוה ביותר שלהם בכל שנה, החל מ־2014. המקור כולל תשעה תת-פורומים בולטים שמשקפים קשת פוליטית רחבה בארצות הברית, ביניהם קהילות כמו r/politics, r/democrats, r/Conservative, r/The_Donald שנחסם מאז, r/LateStageCapitalism ועוד. סינון הקבצים הראשוני בוצע באמצעות Zapier וסקריפטים ייעודיים בפייתון שמצורפים למאגר.
כל שורה בטבלה מייצגת פוסט בודד ומכילה מידע טקסטואלי ומטא-דאטה מקיף. העמודות כוללות כותרת, גוף הטקסט, שם המחבר, תאריך פרסום כחותמת זמן, ניקוד, יחס הצבעות, כמות תגובות, תגיות משתמש ותגיות פוסט. בנוסף, המאגר מכיל שדות ייחודיים שנוצרו בעיבוד מקדים, כמו חילוץ טקסט מתמונות באמצעות זיהוי תווים אופטי וטקסט שחולץ ישירות ממבנה הקישורים החיצוניים.
מתאים ל
- סיווג שיוך פוליטי
אימון מודלים לזיהוי נטייה פוליטית של טקסט לפי מאפייני השיח הייחודיים לכל קהילה.
- ניתוח ויראליות של תוכן
בדיקת הקשר בין מאפייני הכותרת והתמונה המצורפת לבין כמות ההצבעות והתגובות ברשת.
- חקר שיח מקוטב ברשת
מחקר כמותי על אופי הדיון בסוגיות שונות בפורומים של השמאל והימין בארצות הברית.
איפה זה נופל
האיסוף כולל רק פוסטים מובילים ולא מדגם מייצג של כלל הפעילות ברשת, מה שמייצר הטיה חריפה לתכנים קיצוניים או ויראליים במיוחד. הנתונים מוגבלים לשפה האנגלית ומתמקדים בפוליטיקה פנים-אמריקאית, כך שהם לא רלוונטיים להקשר מקומי ישראלי. חלק מהתמונות והכתבות לא עברו עיבוד עקב בעיות אימות מול שירותי אחסון כמו Imgur או משום שהתוכן המקורי נמחק. תגובות הגולשים לא נכללות במאגר אלא רק כמות התגובות, והטקסט שנשלף מתמונות או מכתובות אתר עלול לכלול שגיאות פענוח.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ לעשות זאת. המאגר פורסם ללא רישיון כלל, מה שאומר שאין הרשאת שימוש מפורשת מהיוצר. בנוסף, הנתונים מבוססים על תוכן משתמשים שנאסף מרדיט דרך ארכיון חיצוני, מה שעלול לייצר סיבוך מול תנאי השימוש של הפלטפורמה עצמה.
האם המאגר כולל תכנים בעברית או שמתאימים לשיח ישראלי?
לא, המאגר כולו באנגלית בלבד. הנתונים נאספו מקהילות שממוקדות בפוליטיקה פנים-אמריקאית כמו הבחירות לנשיאות ונושאים חברתיים בארצות הברית. הוא לא רלוונטי לפילוח שיח מקומי בישראל או לפיתוח כלים לשפה העברית.
האם הטקסטים כוללים את תגובות הגולשים לפוסטים?
המאגר אינו מכיל את גוף התגובות עצמן אלא רק את מספר התגובות הכולל לפוסט. יש בו קישור ישיר שמאפשר משיכה ידנית של התגובות דרך ממשק ה־API של רדיט, אך הדבר דורש עבודה נוספת ואישורי גישה עצמאיים.
מה מייחד את המאגר הזה מאוספי נתונים כלליים של רדיט?
הוא כולל עיבוד מקדים שאינו נפוץ באוספים כאלה, כמו הפעלת זיהוי תווים אופטי על תמונות שצורפו לפוסטים. בנוסף, נעשה בו חילוץ של טקסט מתוך כתובות האתר החיצוניות, כך שמקבלים הקשר רחב יותר מכותרת הפוסט בלבד.
איך טוענים
טוענים את המאגר דרך ספריית datasets הרגילה בפייתון או שמורידים ישירות את הקבצים, שכוללים סקריפטי פריסה ועיבוד כמו reddit_political_subs.py ו־data_preprocessing.py. אין צורך באישור גישה מיוחד כדי להוריד. מדובר בקנה מידה קטן יחסית, בין אלף לעשרת אלפים רשומות, כך שהוא נטען מהר ולא דורש זיכרון חריג. השדות המרכזיים לעבודה הם כותרת הפוסט, גוף הטקסט, שם התת-פורום, והשדות שמכילים את המלל שחולץ מהמדיה החיצונית.
from datasets import load_dataset
ds = load_dataset("mo-mittal/reddit_political_subs")הרישיון
היוצר לא הגדיר רישיון עבור המאגר. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות ואין הרשאה ברורה להשתמש בו, להפיץ אותו או לאמן עליו מודלים לצרכים מסחריים. מותר לבחון אותו מקומית או להשתמש בו לצרכי מחקר אישי בזהירות, אבל פיתוח מוצר מסחרי על בסיסו חושף אתכם לסיכון משפטי מול בעלי המאגר ומול רדיט.