one-million-reddit-jokes
קוד פתוחSocialGrepcc-by-4.02022-03-02
מיליון פוסטים שנאספו מקהילת הבדיחות של רדיט יחד עם הניקוד המקורי שלהם. זה מתאים למי שרוצה לבחון יכולות הומור של מודל או לנסות לחזות פופולריות של טקסט לפי דירוג המשתמשים.
- 514הורדות בחודש
- 29לייקים
מה זה
המאגר כולל מיליון רשומות שמקורן ישירות מתוך התת-רדיט r/jokes. כל רשומה מייצגת פוסט מקורי ומכילה את הכותרת, את גוף הטקסט המצורף במידה וקיים, קישור ישיר, חותמת זמן ומזהים ייחודיים. בנוסף, כל פוסט מגיע עם הניקוד המקורי שקיבל ברדיט, נתון המציין האם התת-רדיט הוגדר כתוכן למבוגרים, ושדה שמגדיר את סוג הפריט כפוסט או תגובה.
הכרטיס הרשמי של המאגר אינו מספק פרטים לגבי שיטת האיסוף, מועדי החיתוך המדויקים, או תהליכי סינון וניקוי מוקדמים. אין כאן חלוקה מובנית לסט אימון, בדיקה או ולידציה, אלא קובץ נתונים אחיד שמכיל את כלל הפוסטים ברצף. כל המידע נשען על מה שהעלו המשתמשים עצמם לאורך הזמן, ללא תיוגים חיצוניים מעבר לציון ההצבעות של האתר.
מתאים ל
- אימון מודל לייצור הומור
לימוד מבנה של בדיחות קצרות המבוססות על שילוב בין כותרת לגוף הפוסט.
- חיזוי ניקוד ופופולריות
בניית מודל שמנסה להעריך את איכות הבדיחה לפי ציון ההצבעות ברדיט.
- מחקר על שפה וסרקזם
ניתוח דפוסים בלשניים של אירוניה והומור מבוסס טקסט חופשי באינטרנט.
איפה זה נופל
הנתונים מוגדרים ככאלה שנכתבו בעיקר באנגלית, ואין כאן עברית כלל. הכרטיס לא מפרט סינון של תוכן פוגעני, מידע אישי או בדיחות גזעניות ובוטות שנפוצות ברדיט. בנוסף, חסר מידע מלא על טווח התאריכים שבהם הפוסטים פורסמו, כך שקשה לדעת האם מדובר בתוכן עדכני. מי שבונה מוצר שפונה לקהל רחב חייב לבצע סינון ידני או אוטומטי של שפת שנאה לפני שמזינים את הטקסטים למודל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן. רישיון cc-by-4.0 מאפשר שימוש מסחרי מלא. התנאי היחיד הוא מתן קרדיט ברור ליוצרי המאגר וציון אם בוצעו שינויים בנתונים.
האם יש במאגר בדיחות בעברית?
לא. המאגר מוגדר ככזה שמכיל אנגלית בלבד. אם המטרה היא לאמן מודל להומור בעברית, המאגר הזה לא יתאים לכם.
האם הטקסטים עברו סינון של שפה בוטה או תוכן פוגעני?
אין בכרטיס המאגר שום עדות לסינון כזה. הטקסטים נלקחו ישירות מרדיט ועלולים לכלול ביטויים פוגעניים, גזענות והומור בוטה. חובה לסנן את התוכן בעצמכם לפני שימוש במוצר חי.
איך נאספו הנתונים ומתי?
הכרטיס אינו מציין את דרך האיסוף או את טווח התאריכים המדויק שבו הפוסטים עלו. המאגר עצמו עלה לפלטפורמה במרץ 2022, אך הנתונים יכולים לייצג תקופות ישנות יותר של האתר.
איך טוענים
המאגר מאוחסן בקובץ בפורמט csv בשם one-million-reddit-jokes.csv וכולל בסך הכל שלושה קבצים במאגר. אין צורך בבקשת אישור גישה מיוחדת או בהמתנה, וניתן לטעון אותו ישירות באמצעות ספרית datasets של Hugging Face. השדות המרכזיים שתרצו לבדוק מיד לאחר הטעינה הם title, selftext שבו נמצא הפאנץ' בדרך כלל, ו־score שמרכז את הניקוד.
from datasets import load_dataset
ds = load_dataset("SocialGrep/one-million-reddit-jokes")הרישיון
המאגר מפורסם תחת רישיון cc-by-4.0. הרישיון מאפשר שימוש מסחרי מלא, שינוי והפצה, כל עוד נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין דרישה לשתף תוצרים תחת אותו הרישיון, מה שמאפשר לאמן מודלים סגורים או מסחריים בלי לחשוף את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס