Discord-Unveiled-Compressed
קוד פתוחSaisExperimentscc-by-4.02025-05-21
מעל שני מיליארד הודעות ציבוריות מעשר שנות פעילות בדיסקורד. מאגר עצום למי שחוקר שיח קהילתי אותנטי, סלנג רשת ודינמיקות חברתיות בהיקף נדיר.
- 230הורדות בחודש
- 26לייקים
מה זה
הנתונים מגיעים מ־3,167 שרתים ציבוריים שנסרקו דרך ה־API הרשמי, בערך עשרה אחוזים ממה שמופיע במנגנון הדיסקברי של הפלטפורמה. הם מכסים את השנים 2015 עד סוף 2024 ומכילים 2.05 מיליארד הודעות שנשלחו על ידי כ־4.74 מיליון משתמשים. החוקרים שפרסמו את המאמר המקורי מדווחים על שימוש בטכניקות אנונימיזציה כדי להגן על פרטיות הכותבים.
התוכן מאורגן בקובצי JSON פר שרת. הנושאים הדומיננטיים נשענים בכבדות על גיימינג ותרבות יוטיוב, עם נוכחות גבוהה של מילות מפתח כמו מיינקראפט, רובלוקס, אנימה ורולפליי. החלוקה במאגר הנוכחי כוללת קובץ ארכיון מכווץ בשם dataset.zst, מטא-דאטה על השרתים, ודוגמת JSON בודדת לבדיקה מהירה.
מתאים ל
- אימון סלנג ורשת
לימוד שפה מדוברת, קיצורים ודינמיקות צ'אט של קהילות גיימינג וצעירים באנגלית.
- ניתוח רשתות חברתיות
בדיקת מבנה קהילות, דפוסי ניהול ויראליות והפצת מידע לאורך עשור של פעילות.
- זיהוי רעילות ומודרציה
פיתוח מסננים אוטומטיים להודעות פוגעניות או ספאם על בסיס שיחות אמיתיות.
איפה זה נופל
ההטיה התמטית קיצונית. רוב החומר עוסק במשחקים, סטרימינג וקהילות מעריצים, כך שהוא לא מייצג שיחה אנושית כללית ולא מתאים למודל שאמור לדעת הכל. השפות המוגדרות הן אנגלית, ספרדית, צרפתית ופורטוגזית, בלי עברית כלל. שרתי דיסקורד סובלים גם מרעש גבוה של בוטים, הודעות ספאם וקיטועים שדורשים סינון יסודי לפני אימון.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
כן, רישיון cc-by-4.0 מתיר שימוש מסחרי מלא. צריך רק לתת ייחוס הולם ליוצרי המאגר במפרט הטכני או בתיעוד המוצר.
כמה שטח אחסון צריך בפועל כדי לעבוד איתו?
הקובץ המכווץ שוקל כ־2 טרה-בייט. אם משתמשים במערכת קבצים עם דחיסה פנימית אפשר להסתפק בכ־175 ג'יגה-בייט, אחרת תצטרכו נפח דיסק גדול מאוד לפריסה מלאה.
האם יש במאגר שיחות בעברית?
המאגר מגדיר רשמית אנגלית, ספרדית, צרפתית ופורטוגזית בלבד. ייתכן שקיימות הודעות בודדות בעברית שנשלחו בשרתים בינלאומיים, אבל אין כאן נפח שמתאים לאימון מודל מקומי.
מאיפה הנתונים נאספו והאם יש בעיית פרטיות?
הנתונים נמשכו מה־API הציבורי של דיסקורד מתוך עשרת אלפים שרתי Discovery פתוחים. החוקרים ביצעו אנונימיזציה למזהי המשתמשים, כך שהשמות הפרטיים לא אמורים להיחשף ישירות ברשומות.
איך טוענים
הקובץ המרכזי מגיע מכווץ בפורמט zst ושוקל כ־2 טרה-בייט לפני חילוץ, אם כי פריסה על מערכת קבצים תומכת דחיסה כמו btrfs יכולה לצמצם אותו לכ־175 ג'יגה-בייט. פותחים אותו משורת הפקודה באמצעות שרשור של zstd ו־tar. הגישה חופשית לגמרי וללא צורך באישור, אבל חילוץ שרת ספציפי דורש קריאה סדרתית ארוכה אם לא פורסים את כל המאגר מראש.
from datasets import load_dataset
ds = load_dataset("SaisExperiments/Discord-Unveiled-Compressed")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי, מחקרי ושינוי של החומר. התנאי היחיד הוא מתן קרדיט ברור ליוצרים. אימון מודל על הדאטהסט לא מחייב אתכם לפתוח את המשקולות או לשחרר את התוצר באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס