wnut_17
קוד פתוחleondzcc-by-4.02022-03-02
המאגר כולל טקסטים רועשים עם תיוג ישויות נדירות וחדשות באנגלית. הוא מתאים למי שרוצה לבחון עמידות של מודלי זיהוי ישויות על שפה יומיומית ולא תקנית.
- 2,599הורדות בחודש
- 19לייקים
מה זה
הנתונים מורכבים מרשומות טקסט קצרות, כמו פוסטים וציוצים ברשתות חברתיות, שמכילות שפה לא רשמית, שגיאות ותחביר חופשי. כל רשומה כוללת רשימת טוקנים ומערך של תגיות מספריות בפורמט IOB2 עבור שש קטגוריות ישויות: תאגידים, יצירות, קבוצות, מיקומים, אנשים ומוצרים, לצד תגית לרקע כללי. הדגש כאן הוא על זיהוי ישויות שמופיעות לעיתים נדירות או צורות כתיבה חדשות שקשה לאתר.
המאגר מחולק לשלושה חלקים קבועים מראש: 3,394 דוגמאות לאימון, 1,009 דוגמאות לוולידציה ו־1,287 דוגמאות בסט הבדיקה. אין בכרטיס פירוט לגבי דרך האיסוף המדויקת או אופן הסינון של הרשומות מתוך הפלטפורמות שמהן נלקחו.
מתאים ל
- בדיקת עמידות מודלים
הערכת ביצועי מודלי שפה על טקסט חופשי מרשתות חברתיות שכולל שגיאות וישויות שלא נראו באימון.
- כיוונון לזיהוי ישויות
אימון שכבת זיהוי ישויות למיקומים, אנשים ומוצרים מתוך טקסטים קצרים ורועשים באנגלית.
- זיהוי מונחים חדשים
בחינת יכולת של מודלים להתמודד עם שמות מוצרים ויצירות בעלי מבנה תחבירי יוצא דופן.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על שיח רשת ישן שנאסף לקראת שנת 2017, כך שישויות עדכניות מהשנים האחרונות לא מופיעות שם. הכרטיס אינו מפרט הטיות, פרטיות, מידע רגיש או מי היו המתייגים, כך שאי אפשר לדעת איזה סינון בוצע בפועל. בנוסף, מדובר במאגר קטן יחסית שאינו מתאים לאימון מודל מאפס אלא בעיקר לכיוונון עדין או כמבחן עמידות לטקסט לא תקני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון המדווח הוא cc-by-4.0, והוא מתיר שימוש מסחרי מלא. התנאי העיקרי הוא מתן קרדיט מתאים ליוצרי המאגר וציון אם בוצעו בו שינויים. אין דרישה להפיץ את המודלים או את התוצרים באותו הרישיון.
האם יש במאגר דוגמאות בעברית?
לא, המאגר כולל טקסטים באנגלית בלבד. אם המטרה היא זיהוי ישויות בעברית, המאגר הזה לא יסייע ישירות לביצועי המשימה. הוא יכול לשמש רק כרפרנס מתודולוגי לבדיקת ישויות נדירות.
כמה שטח אחסון נדרש כדי להוריד אותו?
המאגר קטן מאוד ושוקל בסך הכל כ־2.55 מגה בייט על הדיסק. קובצי ההורדה הראשוניים תופסים כ־0.80 מגה בייט, והנתונים המעובדים תופסים כ־1.74 מגה בייט. הטעינה נעשית כמעט מיידית גם בסביבת עבודה בסיסית.
איך נאספו הנתונים ומה מקורם?
הטקסטים מייצגים שיחות ופוסטים מפלטפורמות מקוונות כמו טוויטר סביב שנת 2017, במטרה לאסוף שפה טבעית ורועשת. עם זאת, כרטיס המאגר אינו מפרט את הליך האיסוף המדויק, אופן הדגימה או פרטי תהליך התיוג. הפרטים הטכניים הללו נותרו ללא מידע בעמוד המקורי.
איך טוענים
טוענים את המאגר ישירות בספריית datasets באמצעות המזהה leondz/wnut_17. אין צורך באישור גישה או בהרשמה מוקדמת, והורדת הקבצים דורשת פחות ממגה בייט אחד, כך שהעבודה איתו מהירה מאוד. המבנה מחזיר שדות מוגדרים היטב: מזהה, רשימת טוקנים ומערך התגיות ner_tags. צריך לשים לב שהערכים ב־ner_tags הם מספרים שלמים בין 0 ל־12, ולכן תצטרכו למפות אותם לשמות המחלקות לפני בדיקה ידנית או הערכת ביצועים.
from datasets import load_dataset
ds = load_dataset("leondz/wnut_17")הרישיון
המאגר מדווח תחת רישיון cc-by-4.0. הרישיון מתיר שימוש חופשי, כולל שימוש מסחרי, התאמה ושיתוף, כל עוד אתם נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. המשמעות היא שניתן לאמן או להעריך מודלים לצרכים פנימיים או מסחריים בלי חובה לשחרר את הנגזרות באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס