bbc_news_alltime
קוד פתוחRealTimeDataרישיון לא דווח2023-12-24
ארכיון מסודר של כתבות חדשות מהבי בי סי בחלוקה לחודשים ספציפיים. מתאים למי שבונה מודל שפה וצריך לבודד תאריכים מוגדרים או למנוע דליפת מידע היסטורי.
- 1,660הורדות בחודש
- 51לייקים
מה זה
המאגר מכיל כתבות שנאספו מאתר החדשות הבריטי ומחולקות לתצורות חודשיות נפרדות, מתוכן מופיעים נתונים החל מינואר 2017 ואילך. בכל רשומה יש טקסט מלא לצד כותרת, תאריך פרסום, תיאור קצר, מדור באתר, קישור למקור, תמונת שער ושמות הכותבים. המבנה החודשי הזה מייצר יחידות עצמאיות של בין כמה מאות ליותר מאלף ושש מאות כתבות בכל חודש, עם נפח של כמה מגה בייטים בודדים לכל קובץ חודשי.
כרטיס הנתונים לא מפרט תהליכי סינון מוקדמים, בדיקות כפילויות או שיטות הסרת רעשים, ולכן הטקסט מופיע כפי שנאסף. חלוקת המאגר מורכבת מפוצלת לפי שמות החודשים, כשכל חודש מוגדר כתצורה עצמאית שמכילה סט אימון בלבד ללא פיצול מובנה למבחן או אימות. אין במאגר מקורות נוספים מעבר לפרסומי הארגון עצמו, וכל הכתבות כתובות באנגלית בסגנון עיתונאי בריטי אחיד.
מתאים ל
- אימון על ציר זמן
אימון מודלים להבנת רצף אירועים חדשותיים והתפתחות נושאים על פני חודשים מוגדרים.
- מבחני זליגת מידע
בדיקת יכולת המודל לענות על שאלות ידע תוך הגבלת המידע לתקופת זמן ספציפית ומדויקת.
- סיכום כתבות עיתונאיות
כוונון עדין למשימות של כתיבת כותרות ותקצירים מתוך תוכן חדשותי ארוך באנגלית.
איפה זה נופל
חוסר העקביות בסכימה הוא הבעיה הטכנית הראשונה שתפגשו, בעיקר כי שדה הכותבים מוגדר לפעמים כמחרוזת ולפעמים כמערך מחרוזות. מעבר לזה, כל התוכן הוא באנגלית בריטית עיתונאית בלבד, ללא שום ייצוג לעברית, כך שלא תפיקו ממנו תועלת לאימון מקומי. הכרטיס אינו מתעד את תהליך הדגימה, ולכן לא ידוע אם הכתבות מייצגות את כל מה שפורסם באותם חודשים או מדגם חלקי שנוטה לנושאים מסוימים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ בכלל. הרישיון בדף המאגר ריק, והתוכן שייך לבי בי סי. ללא אישור מפורש מבעלי הזכויות אתם חשופים לתביעות על הפרת זכויות יוצרים.
כמה שוקל הדאטהסט ואיך הוא מחולק?
המאגר כולל 104 קבצים בפורמט פרקט, כשכל קובץ מייצג חודש ומכיל כמה מגה בייטים בודדים. הגודל הכולל נוח מאוד להורדה ולעיבוד גם במחשב אישי ללא צורך בתשתית כבדה.
האם יש במאגר טקסטים בעברית?
לא. כל הנתונים מגיעים מהאתר הבינלאומי של הרשת בשפה האנגלית. אין בדאטהסט תכנים בשפות אחרות או התאמות למשימות בעברית.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס הרגילה באמצעות ציון שם התצורה החודשית הרצויה, כמו 2017-01. המאגר פתוח לחלוטין ללא צורך באישור גישה או מפתחות, והקבצים נשמרים בפורמט פרקט דחוס ששוקל מגה בייטים בודדים לכל חודש. השדות המרכזיים לעיבוד הם הטקסט המלא, הכותרת והתאריך. כדאי לשים לב ששדה הכותבים משנה טיפוס בין מחרוזת בודדת למערך של מחרוזות בחלק מהחודשים, מה שדורש בדיקה ותיקון בסקריפט הטעינה שלכם.
from datasets import load_dataset
ds = load_dataset("RealTimeData/bbc_news_alltime")הרישיון
היוצרים לא דיווחו על רישיון לשימוש במאגר. בפועל מדובר בטקסטים מוגנים בזכויות יוצרים של תאגיד השידור הבריטי. בהיעדר היתר מפורש, אסור להשתמש בתוכן למוצרים מסחריים, וכל אימון או הסקת מסקנות על בסיסו מסתמכים על שימוש הוגן למחקר בלבד תוך נטילת סיכון משפטי ברור.