bbc-news-summary
קוד פתוחgopalkalpandecc0-1.02022-06-22
המאגר כולל 417 כתבות פוליטיות מאתר ה־BBC עם חמישה תקצירים שונים לכל כתבה. הוא מיועד לבדיקה והערכה של מודלים לתמצות טקסט חילוצי באנגלית.
- 240הורדות בחודש
- 23לייקים
מה זה
הנתונים מבוססים על מאגר ותיק ומצוטט של גרין וקנינגהם מ־2006, שכלל במקור 2,225 מסמכים מאתר ה־BBC בחמישה נושאים שונים. מתוכם נלקחו כאן 417 כתבות חדשותיות מתחום הפוליטיקה בלבד, כולן נכתבו ופורסמו במקור בין השנים 2004 ל־2005.
המבנה מאורגן סביב שתי תיקיות עיקריות: תיקיית כתבות המקור ותיקיית תקצירים. עבור כל כתבה קיימים חמישה תקצירים שונים שנועדו למשימות של תמצות חילוצי, שבו נבחרים משפטים שלמים מתוך המקור ללא שכתוב. כותרת הכתבה אינה נשמרת בשדה נפרד, אלא מהווה תמיד את הפסוקית הראשונה בגוף הטקסט.
מתאים ל
- בנצ'מרק לתמצות חילוצי
השוואת דיוק באנגלית מול חמישה תקצירים מוכנים לכל כתבה פוליטית.
- אימון אלגוריתמי דירוג
בדיקת מודלים שבוחרים ומדרגים משפטי מפתח ישירות מתוך טקסט מקור.
- בדיקות מהירות למודלים קטנים
הרצת בדיקות היתכנות על מאגר קטן וקל משקל בלי להעמיס על הזיכרון.
איפה זה נופל
הכתבות נאספו בין 2004 ל־2005 ועוסקות בפוליטיקה בלבד, כך שהן משקפות מציאות ישנה מאוד, סגנון עיתונאי בריטי ואוצר מילים היסטורי. אין כאן שום מידע בעברית ואין נתונים על אקטואליה מודרנית או תחומי עניין אחרים.
התקצירים נבנו בגישה חילוצית, שבה מודבקים משפטים מקוריים זה לצד זה ללא עריכה. הכרטיס מודה בפירוש שהתוצאה עלולה לסבול מחוסר שטף, משפטים שאינם מתחברים וקריאות נמוכה, ולכן המאגר לא מתאים להערכת מודלים של תמצות אבסטרקטי או כתיבה חופשית.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
הרישיון המדווח בפלטפורמה הוא cc0-1.0 שמתיר שימוש מסחרי ללא מגבלות. מנגד, הכרטיס מציין שזכויות היוצרים בטקסטים המקוריים שייכות ל־BBC. מומלץ לבחון את המעמד המשפטי של טקסט המקור לפני שילובו במוצר מסחרי.
האם יש במאגר טקסטים בעברית?
לא, כל הנתונים מבוססים על כתבות שנאספו מאתר החדשות של ה־BBC. הטקסטים כולם באנגלית בריטית ומתמקדים בפוליטיקה. המאגר אינו מכיל נתונים בעברית ולא יסייע במשימות עיבוד שפה מקומית.
איך נאספו הכתבות והתקצירים?
הנתונים נלקחו ממאגר סיווג רחב יותר של 2,225 מסמכים שפורסם במחקר מ־2006. מתוכו נחתכו 417 כתבות פוליטיות בלבד, ולכל כתבה נוצרו חמישה תקצירים חילוציים המבוססים על משפטים מתוך הטקסט.
מה הגודל של המאגר?
מדובר באחד המאגרים הקטנים בתחום, עם 417 כתבות בלבד ושלושה קבצים במאגר. קובץ ה־csv שוקל מעט מאוד ונטען בשניות בודדות בכל סביבת פיתוח. הוא מתאים לניסויים מהירים אבל מוגבל מדי לאימון מודלים מודרניים מאפס.
איך טוענים
המאגר כולל שלושה קבצים, וביניהם קובץ הנתונים המרכזי bbc-news-summary.csv וקובץ הסבר. אין צורך בתהליך הרשמה מיוחד, אישור פרטני או מפתח גישה כדי למשוך את הנתונים, ואפשר להוריד את הקובץ ישירות ולהטעין אותו ב־pandas או בכל ספריית עיבוד נתונים סטנדרטית.
בגלל שמדובר ב־417 כתבות בלבד, נפח הקובץ זניח לחלוטין ורץ בקלות על מחשב אישי רגיל בלי דרישות זיכרון חריגות. בזמן הטעינה כדאי לשים לב לחילוץ הכותרת, שנמצאת בפסוקית הראשונה של הטקסט, ולמבנה שבו מופיעים חמשת התקצירים מול הכתבה המלאה.
from datasets import load_dataset
ds = load_dataset("gopalkalpande/bbc-news-summary")הרישיון
המאגר מפורסם ברישיון cc0-1.0 המוגדר כנחלת הכלל, מה שמאפשר שימוש חופשי כולל שימוש מסחרי ללא חובת ייחוס. עם זאת, הכרטיס מציין במפורש שכל הזכויות על הכתבות המקוריות שייכות לתאגיד ה־BBC. הפער הזה בין הוויתור של מעלה המאגר לבין זכויות היוצרים המקוריות של גוף התקשורת מחייב בדיקה משפטית לפני שמכניסים מודל מסחרי לפיתוח.