conllpp
קוד פתוחZihanWangKiunknown2022-03-02
גרסה מתוקנת למבחן הבנצ'מרק המוכר של CoNLL2003 לזיהוי ישויות. החוקרים עברו ידנית על סט הבדיקה ותיקנו בו טעויות תיוג כדי שתקבלו הערכת ביצועים מדויקת יותר.
- 1,972הורדות בחודש
- 17לייקים
מה זה
המאגר כולל משפטים באנגלית שמיועדים לסיווג טוקנים, חלוקה לביטויים, תיוגי חלקי דיבר וזיהוי ישויות שמיות. בכל רשומה תמצאו מזהה ייחודי, רשימת טוקנים, ותוויות מספריות עבור פוזיציות תחביריות, מקטעים וישויות כמו אנשים וארגונים. הבסיס נשען על הטקסטים המקוריים של CoNLL2003, כאשר סטי האימון והפיתוח נשמרו כפי שהיו לצורך שלמות.
החידוש המרכזי נמצא בסט הבדיקה. החוקרים תיקנו ידנית את התוויות של 5.38% מהמשפטים במבחן, אחרי שמצאו שם שגיאות בולטות, למשל מקרים שבהם שמות מדינות תויגו בטעות כאנשים במקום כמיקומים גיאוגרפיים. החלוקה שומרת על הגדלים המקוריים: 14,041 משפטים באימון, 3,250 בפיתוח ו־3,453 במבחן.
מתאים ל
- הערכת מודלי זיהוי ישויות
בדיקת דיוק של מודלים על סט מבחן באנגלית שתוקן ידנית משגיאות תיוג היסטוריות.
- בנצ'מרק אקדמי השוואתי
מדידת ביצועים מול מאמרי מחקר בתחום עיבוד שפה שמשתמשים בגרסה המתוקנת.
- אימון על תיוג טוקנים
פיתוח מודלים בסיסיים לחלוקת ביטויים ותיוג חלקי דיבר באנגלית.
איפה זה נופל
הכרטיס מציג פערי מידע משמעותיים. אין שום תיעוד על אופן איסוף הטקסט המקורי, מי הפיק אותו, או אם יש בו פרטים אישיים ורגישים. בנוסף, כל הנתונים באנגלית בלבד כך שאין כאן שום מענה לעברית. התיקון הידני נעשה רק על סט המבחן, מה שאומר שסט האימון מכיל עדיין את כל הרעש והשגיאות ההיסטוריות של 2003, ואי אפשר להסתמך עליו כדאטה נקי למוצר סופי בלי לנקות אותו בעצמכם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הרישיון של המאגר מוגדר כלא ידוע ואין בכרטיס פירוט לגבי זכויות יוצרים. במצב כזה לא הייתי מכניס אותו למוצר מסחרי, אלא מגביל את השימוש למחקר, ניסויים והשוואת ביצועים בלבד.
כמה מקום הדאטהסט תופס בדיסק?
קבצי ההורדה שוקלים 4.85 מגה בייט בלבד. אחרי הפריקה והעיבוד הדאטהסט דורש כ־15.11 מגה בייט על הדיסק, כך שהוא נטען ונשמר בקלות על כל מכונה.
האם יש במאגר טקסטים בעברית?
לא. המאגר מכיל טקסטים בשפה האנגלית בלבד, ואין בו שום ייצוג לשפות אחרות.
מה ההבדל בין המאגר הזה ל־CoNLL2003 המקורי?
החוקרים לקחו את סט המבחן של CoNLL2003 ותיקנו בו ידנית שגיאות תיוג ב־5.38% מהמשפטים. סטי האימון והפיתוח נשארו זהים למקור כדי לאפשר השוואה מלאה.
איך טוענים
טוענים את הדאטה דרך ספריית datasets באמצעות המזהה הרגיל, והמאגר כולל קובץ סקריפט conllpp.py לצד התיעוד. הגישה פתוחה לחלוטין ואין צורך באישורי גישה מיוחדים. מדובר במשקל קל מאוד, כ־4.85 מגה בייט להורדה וכ־15.11 מגה בייט כולל של נפח בדיסק. השדות המרכזיים לעבודה הם רשימת המילים ב־tokens ותגיות הישויות ב־ner_tags שמגיעות כמספרים שלמים.
from datasets import load_dataset
ds = load_dataset("ZihanWangKi/conllpp")הרישיון
הרישיון מוגדר כ־unknown, והכרטיס לא מספק מידע משפטי לגבי תנאי השימוש. המשמעות היא שאין היתר מפורש לשימוש מסחרי, ואי אפשר לדעת אם מותר לשלב את הנתונים במוצר עסקי או לשחרר מודל שאומן עליהם בלי להסתכן בהפרת זכויות יוצרים. כל שימוש מחוץ למחקר אקדמי דורש בדיקה עצמאית של מקורות הטקסט.