ontonotes5
קוד פתוחtnerother2022-07-16
המאגר כולל טקסטים חדשותיים באנגלית עם תיוג ישויות עשיר במיוחד של 18 קטגוריות שונות. הוא מיועד למי שרוצה לאמן מודלים לזיהוי ישויות מעבר לשמות ומקומות בסיסיים.
- 1,966הורדות בחודש
- 25לייקים
מה זה
הנתונים מגיעים מטקסטים עיתונאיים ומחולקים לרשומות שכל אחת מהן מייצגת משפט בודד. בכל רשומה יש שני שדות בלבד: רשימת טוקנים טקסטואליים ומערך תואם של תגיות מספריות לפי שיטת BIO. התיוג מכסה 18 סוגי ישויות שונים, כולל חוקים, שפות, אירועים, אחוזים, יצירות אמנות וסכומים כספיים, מה שמעניק פירוט עמוק בהרבה ממאגרי חדשות סטנדרטיים.
הבסיס מגיע מפרויקט OntoNotes המקורי, והגרסה הזו עברה עיבוד והתאמה במסגרת פרויקט TNER. החלוקה הפנימית מוגדרת מראש וכוללת 59,924 דוגמאות באימון, 8,528 בולידציה ועוד 8,262 בטסט. קובצי האימון מחולקים בפועל לארבעה חלקי json כדי לאפשר טעינה נוחה של עשרות אלפי הרשומות.
מתאים ל
- אימון זיהוי ישויות רחב
מודל שמזהה כמויות, חוקים ומוצרים באנגלית בנוסף לאנשים ומקומות.
- בנצ'מרק למודלי שפה
הערכת ביצועי מודלים על חלוקת הטסט המובנית מול עבודות קודמות.
- חילוץ ישויות מטקסט חדשותי
ניתוח מסמכים באנגלית הדורשים איתור תאריכים, סכומים ואירועים.
איפה זה נופל
כל הטקסטים מגיעים מעולם החדשות ובשפה האנגלית בלבד, כך שאין כאן שום ייצוג לעברית, לשיחות יומיומיות או למונחים טכניים. המאמר המקורי פורסם עוד בשנת 2006, מה שאומר שהעולם התרבותי, הפוליטי והעסקי שמשתקף בטקסטים ישן מאוד ולא כולל מונחים או אישים עדכניים. לא הייתי מכניס מודל שאומן עליו ישירות לפרודקשן מודרני בלי בדיקה על נתונים עכשוויים.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
הרישיון המדווח הוא other ולכן תנאי השימוש המסחרי אינם ידועים מתוך כרטיס המאגר. צריך לבדוק את תנאי המקור של OntoNotes ושל פרויקט TNER לפני שמשלבים אותו במוצר. כל עוד אין אישור מפורש, קיים סיכון משפטי בשימוש מסחרי.
האם יש בדאטהסט נתונים בעברית?
המאגר כולל טקסטים בשפה האנגלית בלבד. אם אתם מחפשים לאמן מודלים לזיהוי ישויות בעברית, המאגר הזה לא יתאים כלל. תצטרכו לחפש מקורות נתונים אחרים שתומכים בעברית.
מה ההבדל בין המאגר הזה לדאטהסטים אחרים של ישויות?
הוא כולל 18 סוגי ישויות שונים לעומת מאגרים סטנדרטיים שמסתפקים בדרך כלל בארבעה בלבד. המבנה שלו מפורט ומאפשר לזהות גם חוקים, שפות וסכומי כסף. בנוסף, הוא מגיע מובנה ומחולק כחלק מפרויקט TNER להערכת מודלים.
איך נאספו הנתונים במקור?
הטקסטים נאספו ממקורות חדשותיים במסגרת מחקר OntoNotes המקורי משנת 2006. לאחר מכן הם עברו עיבוד והמרה למבנה טוקנים ותגיות BIO על ידי יוצרי פרויקט TNER. כל המידע מבוסס על משפטים עיתונאיים מתקופה זו.
איך טוענים
טוענים את הקבצים ישירות מספריית dataset, שבה שמורים קובצי json פשוטים לצד מילון התוויות label.json. אין צורך באישור גישה מיוחד או בהרשמה מוקדמת, והמאגר זמין להורדה ישירה. השדות המרכזיים שמעניינים אתכם הם tokens ו־tags, כאשר המילון ממפה 37 מזהים מספריים למחרוזות התיוג המלאות.
from datasets import load_dataset
ds = load_dataset("tner/ontonotes5")הרישיון
הרישיון מוגדר בתור other, ללא פירוט ברור בעמוד לגבי שימוש מסחרי, הפצה מחדש או חובת ייחוס. במצב כזה אי אפשר לדעת אם מותר להשתמש במודל שאומן עליו בתוך מוצר מסחרי. מומלץ לבדוק את הרישיון של הפרויקטים המקוריים TNER ו־OntoNotes לפני שמתחילים לפתח סביבו יישום עסקי.