bbc-news
קוד פתוחSetFitרישיון לא דווח2022-03-02
מאגר קלאסי של 2,225 כתבות באנגלית מהבי בי סי שמחולקות לחמישה נושאים. הוא מתאים בעיקר לבדיקת מודלים לסיווג טקסט בתנאי מעבדה נקיים.
- 1,814הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 2,225 כתבות חדשותיות שפורסמו באתר הבי בי סי בשנים 2004 עד 2005. כל רשומה מורכבת מגוף הכתבה ומתיוג לאחת מחמש קטגוריות: עסקים, בידור, פוליטיקה, ספורט וטכנולוגיה. המידע נאסף ופורסם במקור על ידי דרק גרין ופאדריג קנינגהם במסגרת מאמר מחקרי משנת 2006 שעסק בניתוח אשכולות טקסט.
העיבוד של SetFit לקח את הנתונים הגולמיים, שעברו דרך קאגל, וארגן אותם לקבצי אימון ומבחן. המאגר מגיע מוכן לעבודה עם קבצי jsonl וקובץ csv, לצד סקריפט עיבוד פייתון שמראה איך הקבצים נבנו. אין כאן מורכבות של תיוגים כפולים, כל כתבה משויכת בדיוק לתחום אחד בלבד.
מתאים ל
- הערכת ביצועי מודל
בדיקה מהירה של יכולות סיווג טקסט לחמש מחלקות באנגלית.
- אימון עם מעט דוגמאות
ניסויי למידה על בסיס נתונים מצומצם באמצעות שיטת SetFit.
- תרגול ולמידה עצמית
כר פשוט לנרמול, פיצול ואימון מודלים ראשונים לניתוח שפה.
איפה זה נופל
הנתונים נאספו בשנים 2004 ו־2005, כך שהשפה ועולם המושגים משקפים את התקופה ההיא בלבד. המאגר כולל אך ורק אנגלית עיתונאית רשמית של גוף שידור בריטי, ללא סלנג, שגיאות הקלדה או תוכן מקומי בישראל. הכתבות שייכות ל־BBC, כך שזכויות היוצרים על התוכן המקורי אינן פתוחות ויוצרות בעיה למוצרים מסחריים.
שאלות
נפוצות
האם המאגר כולל טקסטים בעברית?
לא. כל 2,225 הכתבות נכתבו באנגלית עבור אתר החדשות של ה־BBC. אם אתם מחפשים לאמן מודל לסיווג עברית, הנתונים כאן לא יעזרו לכם בכלל.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כדאי. המאגר מפורסם בלי רישיון רשמי, והכרטיס מציין במפורש שזכויות היוצרים שייכות ל־BBC. אימון מודל מסחרי על תוכן כזה חושף אתכם לתביעות של הפרת זכויות.
מאיפה הנתונים הגיעו במקור?
הכתבות נאספו מאתר החדשות של ה־BBC בין 2004 ל־2005 עבור מחקר אקדמי משנת 2006. משם הנתונים עברו לקאגל, ולבסוף עובדו על ידי צוות SetFit לפורמט שמתאים לספריית המודלים שלהם.
כמה מקום המאגר תופס על הדיסק?
מדובר במאגר זעיר במיוחד שמכיל 2,225 רשומות בלבד בשישה קבצים. ההורדה והטעינה שלו לוקחות שניות בודדות, ואין צורך במשאבי אחסון מיוחדים כדי לנתח אותו.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה SetFit/bbc-news. המאגר פתוח לכולם ולא דורש הרשמה, אישור גישה מיוחד או טוקן אישי. הנפח שלו זעיר וכולל שישה קבצים בלבד, ביניהם train.jsonl, test.jsonl וקובץ bbc-text.csv שמכיל את כלל הטקסטים. מבנה הרשומות פשוט לחלוטין ומתמקד בטקסט הכתבה ובתווית הסיווג, בלי שדות מטא דאטה מורכבים שמצריכים סינון מקדים לפני האימון.
from datasets import load_dataset
ds = load_dataset("SetFit/bbc-news")הרישיון
הרישיון של המאגר לא דווח. עמוד הנתונים מציין במפורש שכל הזכויות על הכתבות שייכות ל־BBC. ללא רישיון שימוש מוגדר ועם תוכן מוגן בזכויות יוצרים, אסור לבנות עליו מוצר מסחרי, ועדיף להגביל את השימוש בו לבדיקות פנימיות ולמחקר בלבד.