two-million-bluesky-posts

מה זה

המאגר כולל פוסטים שנאספו דרך ה־firehose API של Bluesky Social. כל רשומה כוללת את תוכן הטקסט, חותמת זמן של היצירה, שם המשתמש של הכותב, מזהה ייחודי של הפוסט, אינדיקציה בוליאנית האם הפוסט מכיל תמונות, וקישור לפוסט האב אם מדובר בתגובה.

יש כאן שתי תצורות שונות. הראשונה מגיעה עם שדות הבסיס בלבד. השנייה כוללת את אותם הנתונים בדיוק, אבל מוסיפה חיזוי שפה וציון ביטחון לזיהוי, שחושבו באמצעות המודל glotlid דרך ספריית fasttext. המידע מחולק לקובצי jsonl לפי זמני הדגימה, ללא סינון תוכן מדווח מעבר למה שעבר בצינור הציבורי באותם רגעים.

מתאים ל

• אימון מודלי שפה

  הזנת תוכן חברתי מודרני למודלים, כולל סלנג ודפוסי כתיבה עכשוויים מהרשת.

• חקר מבנה שיחות

  מיפוי שרשורים ודפוסי תגובות באמצעות שדה הקישור לפוסט המקור.

• מחקר ניטור תוכן

  בדיקת אלגוריתמים לזיהוי תוכן פוגעני על מידע גולמי שלא עבר סינון מוקדם.

איפה זה נופל

יוצר המאגר לא טרח לפרט מגבלות או סיכונים ומסתפק בהערה שהמטרה היא ליהנות. הנתונים מייצגים חלון זמן צר מאוד מסוף נובמבר 2024, כך שאין כאן עומק היסטורי. בנוסף, רוב הטקסט באנגלית, לא נעשה שום ניקוי של ספאם, בוטים, או תוכן פוגעני, ותצטרכו לבדוק בעצמכם כמה עברית קיימת בפועל לפני שאתם בונים על זה אימון.

איך טוענים

הנתונים יושבים בפורמט jsonl שמחולק לכעשרים וחמישה קבצים, כך שקל להזרים אותם ישירות עם ספריית datasets בלי להוריד הכל בבת אחת. אין כאן צורך באישור גישה או בטופס מקדים. אם אתם עובדים על סינון לפי שפה, התצורה עם התחזיות חוסכת ריצה עצמאית של מודל זיהוי, והשדה reply_to מאפשר לשחזר שרשורים בקלות יחסית.

from datasets import load_dataset

ds = load_dataset("alpindale/two-million-bluesky-posts")

הרישיון

הרישיון המוגדר במערכת הוא apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בלי לכפות פתיחה של קוד המודל שלכם. עם זאת, היוצר מציין במפורש שהשימוש כפוף לתנאי השירות של Bluesky. צריך לקחת בחשבון את המדיניות של הרשת עצמה לגבי דאטה ציבורי של משתמשים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗