pikabu
קוד פתוחIlyaGusevרישיון לא דווח2023-03-07
מאגר ענק של פוסטים ותגובות מאתר פיקאבו, הגרסה הרוסית לרדיט. הוא מיועד למי שמאמן מודלי שפה וצריך סלנג, שיחות חיות ודינמיקה של קהילה ברוסית.
- 756הורדות בחודש
- 18לייקים
מה זה
המאגר כולל בין מיליון לעשרה מיליון רשומות שמקורן באתר pikabu.ru, שנלקחו מדאמפ בשם pikastat ועובדו בסקריפט ייעודי. כל רשומה מייצגת פוסט מלא ומכילה מזהה ייחודי, כותרת, תוכן בפורמט מרקדאון, קישור, חותמת זמן, תגיות, ודירוגי הצבעות חיוביות ושליליות.
בנוסף לפוסטים עצמם, הרשומות כוללות בלוקים של תוכן ואת התגובות שנכתבו לכל פוסט. התגובות מכילות טקסט במרקדאון ו־HTML, קישורים לתמונות, ניקוד, ואת פרטי המשתמשים שהגיבו. הכרטיס לא מדווח על סינון שבוצע מעבר לסקריפט ההמרה, ולא מוגדרת בו חלוקה מובנית לחלקי בדיקה או אימון נפרדים.
מתאים ל
- אימון מודלי שיחה ברוסית
לימוד סגנון דיבור חופשי, סלנג ואינטראקציה בין משתמשים על בסיס שרשורי תגובות.
- ניתוח סנטימנט והצבעות
חיזוי פופולריות של פוסטים לפי שדות הדירוג, הפלוסים והמינוסים שמצורפים לכל רשומה.
- חילוץ נושאים מתגיות
אימון מסווגים שממפים תוכן של פוסטים לתגיות נושא על סמך המערך tags.
איפה זה נופל
הנתונים הם ברוסית בלבד, בלי שום נגיעה לעברית. החיסרון הבולט ביותר הוא היעדר מוחלט של אנונימיזציה, כפי שמצוין במפורש בכרטיס. שמות משתמשים, מזהי מחברים ומידע אישי שהועלה לרשת מופיעים ישירות בטקסט.
בנוסף, מדובר בתוכן גולמי מאתר פורומים שכולל תגובות ללא סינון רעילות, שפה בוטה או בדיקת עובדות. אי אפשר להזין את הטקסט הזה למודל שמיועד לשירות לקוחות או למוצר מבלי לבצע סינון אגרסיבי של מידע פרטי ותוכן פוגעני מראש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ בכלל. למאגר לא מוגדר רישיון, ומדובר בתוכן גולשים שנאסף מאתר ללא הסכמתם המפורשת. שימוש בו במוצר מסחרי חושף אתכם לתביעות של זכויות יוצרים והפרת פרטיות.
האם יש במאגר טקסטים בעברית?
לא, המאגר מוגדר וכולל תוכן בשפה הרוסית בלבד. הוא נאסף מאתר רוסי קהילתי, ולכן לא רלוונטי למי שמחפש נתונים בעברית.
איך המידע נאסף ועובד?
הנתונים נלקחו מדאמפ ציבורי של האתר בשם pikastat. המפרסם עיבד את המידע בעזרת סקריפט פייתון שנקרא convert_pikabu וחילק אותו ל־23 קבצי ארכיון מכווצים.
האם המאגר כולל מידע רגיש או פרטי?
כן, כרטיס המאגר מצהיר מפורשות שהנתונים לא עברו אנונימיזציה. שמות משתמשים ומזהי מחבר נמצאים בשדות, וטקסט הפוסטים עשוי להכיל פרטים אישיים שגולשים פרסמו בעבר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets עם load_dataset במצב streaming, היות שמדובר ב־23 קבצים דחוסים בפורמט jsonl.zst. נדרשת התקנה של ספריות zstandard, jsonlines ו־pysimdjson כדי לפענח את הקבצים. אין צורך בבקשת גישה מיוחדת למאגר.
שדות המפתח לעבודה הם text_markdown של הפוסט ומערך התגובות comments. שימו לב שהתגובות נשמרות במבנה שטוח ודורשות פונקציית עזר לפריסה מחדש אם רוצים לנתח אותן כרצף שיחה רגיל.
from datasets import load_dataset
ds = load_dataset("IlyaGusev/pikabu")הרישיון
למאגר לא דווח רישיון כלל. מבחינה משפטית, היעדר רישיון אומר שאין לכם שום הרשאה מפורשת להשתמש במידע, לא לפיתוח פנימי ובטח שלא למטרות מסחריות. בנוסף, הטקסטים שייכים לגולשי האתר המקורי, כך שאימון מודל על בסיס הנתונים האלה ללא הסדרה חושף אתכם לסיכון משפטי ברור.