reddit-title-body
קוד פתוחsentence-transformersרישיון לא דווח2022-03-02
המאגר מרכז זוגות של כותרת וגוף פוסט מרדיט לאורך יותר מעשור. הוא מיועד למי שרוצה לאמן מודלי דחיסה, קישור או שליפת מידע על טקסט שיחתי שנכתב בידי אנשים אמיתיים.
- 1,028הורדות בחודש
- 28לייקים
מה זה
הנתונים מגיעים מארכיון Pushshift ומכילים פוסטים שפורסמו ברדיט החל מ־2010 ועד יוני 2021. כל רשומה היא שורת JSON פשוטה שכוללת שלושה שדות בלבד: כותרת הפוסט, גוף הטקסט המלא ושם הסאברדיט שבו הוא עלה. החלוקה בקבצים מסודרת לפי שנים, מ־2010 ועד 2021, כאשר הרשומות בכל קובץ מעורבבות ברמה חודשית.
הסינון הראשוני הוריד פוסטים שקיבלו יחס הצבעות חיוביות נמוך מחצי. המפרסמים השאירו רק כותרות באורך של מעל 25 תווים, וגוף טקסט שארוך מהכותרת בעשרים וחמישה תווים לפחות אך לא עובר 4096 תווים. תנאי סף נוסף דרש לפחות שלוש תגובות או לפחות שלושה אפווטס, כך שפוסטים ריקים או כאלה שנמחקו מיד נשארו בחוץ.
מתאים ל
- אימון sentence embeddings
למידת ייצוגי טקסט ודמיון סמנטי בין שאלות או כותרות לבין פסקאות טקסט מלאות.
- אימון מודלים לתקצור טקסט
שימוש בכותרות הפוסטים כתקציר מקוצר מול גוף ההודעה הארוך יותר.
- שליפת מידע ודירוג מסמכים
בניית מערכות חיפוש שמתאימות בין שאילתות קצרות לתכנים מפורטים בפורומים.
איפה זה נופל
הכרטיס מצהיר בפירוש שהטקסט לא עבר שום סינון של דיבור שנאה, הטיות, קללות גזעניות או ספאם. אתם מקבלים את רדיט בדיוק כפי שנכתב במקור. המידע מסתיים באמצע 2021, כך שאירועים או מונחים מהשנים האחרונות לא קיימים בו. בנוסף, רוב התוכן באנגלית, אין התייחסות לשפות אחרות או חלוקה מובנית לסט אימון ובדיקה.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
לא מוגדר כאן רישיון שימוש. היוצרים מציינים שהמקור הוא Pushshift ומפנים לבדוק את תנאי השימוש של רדיט. ללא רישיון מפורש, לקחת את זה למוצר מסחרי כרוך בסיכון משפטי.
האם הדאטהסט כולל עברית?
החומר לא מציין סינון לפי שפה, אך היות שמדובר בתוכן מפורומי רדיט הכלליים, הרוב המוחלט של הפוסטים הוא באנגלית. ייתכנו פוסטים בודדים מסאברדיטים מקומיים, אך המאגר לא מיועד למי שמחפש עברית.
איך הנתונים נאספו ועובדו?
הטקסטים נלקחו מהארכיון של Pushshift ועברו סינון לפי יחס הצבעות, אורך הכותרת ואורך גוף הפוסט. המאגר שמר רק דיונים עם עניין מינימלי של לפחות שלוש הצבעות או שלוש תגובות, וערבב את הרשומות לפי חודשים.
מה טווח הזמנים של הפוסטים?
הקבצים מחולקים לפי שנים החל מ־2010 ועד יוני 2021. פוסטים שעלו אחרי אמצע 2021 לא נכללים במאגר.
איך טוענים
אין כאן צורך באישור גישה מיוחד, המאגר פתוח להורדה ישירה מ־Hugging Face. הנתונים מאוחסנים ב־16 קבצים, שעיקרם קובצי jsonl.gz דחוסים לפי שנים, מ־reddit_title_text_2010 ועד 2021, לצד סקריפטים של חילוץ ועיבוד בשפת פייתון. אם אתם עובדים עם ספריית datasets או קוראים ישירות את קובצי ה־JSON, השדות שמעניינים אתכם הם title, body ו־subreddit.
from datasets import load_dataset
ds = load_dataset("sentence-transformers/reddit-title-body")הרישיון
למאגר עצמו לא דווח רישיון רשמי בדף הפרויקט. המפרסמים מפנים ישירות לבדיקת תנאי הרישיון של רדיט ושל Pushshift. בפועל, אי-הימצאות רישיון ברור אומרת שאין היתר מפורש לשימוש מסחרי, ואימון מודל לצורכי מוצר דורש בדיקה משפטית לגבי זכויות היוצרים על תוכן הגולשים שנאסף.