arctic

מה זה

הנתונים מבוססים על פרויקט Arctic Shift, שסרק ושמר את רדיט לאורך השנים, והומרו כאן למבנה פארקט מסודר. המאגר מכיל 15.7 מיליארד פריטים, מתוכם 12.9 מיליארד תגובות ו־2.8 מיליארד פוסטים מכל קהילה ציבורית שנפתחה אי פעם ברשת. הכרטיס לא מציין סינון של תוכן פוגעני, ספאם או הסרת רעלים, כך שהטקסט מופיע כפי שנכתב במקור על ידי המשתמשים ברשת.

החלוקה הפנימית מפרידה לחלוטין בין שני סוגי התוכן: תיקיית תגובות ותיקיית פוסטים. כל אחת מהן מחולקת לפי שנים וחודשים, כאשר חודשים עמוסים משנת 2015 ואילך מפוצלים למספר קבצים של כ־200 מגה כדי לא לחנוק את הזיכרון בעבודה שוטפת. לצד קובצי המידע נמצאים קובצי מעקב שמפרטים גדלי דחיסה, זמני עיבוד ומספרי שורות לכל חודש שנכנס למאגר.

מתאים ל

• אימון מקדים של מודלי שפה

  טקסט שיחתי בהיקף של מיליארדי שורות באנגלית עבור למידת סגנון טבעי ומבנה דיאלוג.

• ניתוח סנטימנט והתנהגות

  מעקב אחרי שינויי דעות וטרנדים בקהילות מוגדרות לאורך עשרים שנות פעילות.

• איחזור מידע מבוסס קהילה

  בניית אינדקס לשאלות ותשובות טכניות מתוך פורומים של תכנות ותחביבים.

איפה זה נופל

המידע מוגבל לאנגלית כמעט בלבד, כך שלאימון מודלים בעברית הוא אינו רלוונטי כלל. המאגר משקף את כל ההטיות והרעלים של רדיט ללא סינון מוקדם, כולל חשבונות מחוקים וספאם. בנוסף, רדיט שינתה תנאי שימוש סביב גישה לנתונים בשנים האחרונות, ומכיוון שמדובר בשמירה גולמית בלי ניקוי פרטיות, שימוש ישיר במוצר מסחרי עלול לייצר חשיפה משפטית.

איך טוענים

טוענים את המידע ישירות באמצעות דאק די-בי בלי להוריד את כל 1.3 הטרה-בייט למחשב, או דרך ספריית דאטהסטס עם סטרימינג פעיל. הגישה חופשית ואינה דורשת אישור, אך מי שרוצה להוריד מקומית חודש מסוים צריך להשתמש בפילטרים לפי שנה וחודש. השדות המרכזיים כוללים את שם המחבר, שם הסאברדיט, גוף הטקסט, שעת היצירה והניקוד שקיבל הפריט.

from datasets import load_dataset

ds = load_dataset("open-index/arctic")

הרישיון

הרישיון מוגדר כאחר. המפרסמים לא הצמידו רישיון קוד פתוח סטנדרטי כמו אפאצ'י או אם-איי-טי, והתוכן עצמו שייך למשתמשי רדיט ולפלטפורמה. המשמעות היא שאין היתר מסחרי מפורש, וכל אימון של מודל מסחרי על בסיס החומר הזה מלווה בסיכון משפטי ברור.

הרישיון המלא ב־Hugging Face ↗