reuters21578
קוד פתוחucirvineother2022-03-02
מבזקי חדשות כלכליים ישנים מסוכנות הידיעות רויטרס עם תיוגים לנושאים, שמות ומקומות. הוא מעניין בעיקר למי שרוצה בנצ'מרק היסטורי מוכר לסיווג טקסט מרובה תוויות באנגלית.
- 1,192הורדות בחודש
- 23לייקים
מה זה
המאגר כולל דיווחי חדשות פיננסיים שנאספו מרשת המבזקים של רויטרס במהלך שנת 1987. כל רשומה כוללת את גוף הטקסט, כותרת, תאריך מדויק, ומערכים של תיוגים ידניים לקטגוריות נושא כמו רווחי חברות או מטבע חוץ, לצד ישויות של מדינות, אישים, ארגונים ובורסות מסחר.
הנתונים מגיעים בשלוש תצורות חלוקה היסטוריות לאימון ומבחן. תצורת ModApte מכילה 8,762 רשומות אימון, 3,009 רשומות מבחן ו־720 רשומות שאינן בשימוש. תצורת ModHayes כוללת 18,323 לאימון ו־720 למבחן. תצורת ModLewis מחלקת את הטקסטים ל־12,449 באימון, 5,458 במבחן ו־720 ללא שימוש. כרטיס המאגר לא מפרט כיצד בוצע הסינון הראשוני מעבר לחלוקות המובנות האלו.
מתאים ל
- בנצ'מרק לסיווג טקסט
השוואת אלגוריתמי סיווג מרובי תוויות מול תוצאות מפורסמות בספרות המחקרית.
- חילוץ ישויות היסטוריות
זיהוי ארגונים, אישים ומדינות בטקסטים עיתונאיים קצרים משנות השמונים.
- בדיקת מודלים קלים
אימון מהיר של מודלים פשוטים על מעבד מקומי ללא צורך בתשתיות ענן כבדות.
איפה זה נופל
הנתונים נאספו בשנת 1987, כך שהטרמינולוגיה העסקית, שמות החברות וההקשרים הכלכליים מיושנים מאוד. כל החומרים כתובים באנגלית בלבד ואין פה ייצוג לעברית, לכלכלה מקומית או לשווקים בינלאומיים עדכניים. הטקסטים מכילים תווי בקרה, ישויות HTML ישנות ומבנה מבזקים גולמי שדורש ניקוי ידני. בנוסף, חלוקת הנושאים אינה מאוזנת, וחלק מהקטגוריות מופיעות פעמים בודדות בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
עדיף שלא. למרות שבעמוד ב־UCI רשום רישיון CC-BY 4.0, הקובץ המקורי של רויטרס מגביל את השימוש במפורש למחקר בלבד. שילוב הנתונים במערכת מסחרית חושף אתכם להפרת זכויות יוצרים של סוכנות הידיעות.
האם יש במאגר טקסטים בעברית?
לא. כל המבזקים נאספו מרשת הידיעות הבינלאומית של רויטרס בשנת 1987 ונכתבו באנגלית בלבד. אם המטרה היא סיווג טקסט בעברית, המאגר הזה לא יסייע לכם.
כמה שטח אחסון המאגר דורש?
מעט מאוד. קובץ ההורדה שוקל 24.45 מגהבייט, והנתונים שנפרסים על הדיסק תופסים 52.22 מגהבייט. סך כל השטח שנדרש להורדה ולעיבוד מסתכם ב־76.67 מגהבייט בלבד.
באיזו חלוקה כדאי לבחור מבין השלוש?
רוב המחקרים וההשוואות בספרות המדעית השתמשו בחלוקת ModApte, שכוללת 8,762 דוגמאות אימון ו־3,009 דוגמאות מבחן. היא מסננת מסמכים ללא נושאים ומאפשרת לשחזר ניסויים קודמים בצורה מדויקת.
איך טוענים
טוענים את המאגר ישירות בספריית datasets על ידי ציון אחד משלושת המודלים של החלוקה, למשל ModApte. אין צורך באישור גישה מראש או בהגדרת טוקן פרטי. גודל הקבצים להורדה עומד על 24.45 מגהבייט, והנפח המופק בדיסק מגיע ל־52.22 מגהבייט, כך שהוא נטען ונפרס תוך שניות גם במחשב נייד בסיסי. השדות המרכזיים לעבודה הם text ו־title יחד עם מערך התוויות topics, שמשמש כמטרת הסיווג העיקרית.
from datasets import load_dataset
ds = load_dataset("ucirvine/reuters21578")הרישיון
יש פה סתירה משפטית בעייתית. עמוד המאגר באתר אוניברסיטת UCI מציג רישיון Creative Commons Attribution 4.0, שמאפשר שימוש מסחרי בכפוף לייחוס. לעומת זאת, קובץ ה־README המקורי של רויטרס קובע מפורשות שהזכויות שייכות לסוכנות והשימוש מותר למטרות מחקר בלבד, לצד חובת אזכור. אם אתם בונים מוצר מסחרי או מאמנים מודל שיופץ ללקוחות, הרישוי כאן מהווה סיכון משפטי ברור.