polyglot_ner
קוד פתוחrmyeidunknown2022-03-02
מאגר לאימון זיהוי ישויות ב־40 שפות שנוצר אוטומטית מתוך ויקיפדיה ו־Freebase. הוא מתאים למי שחייב נפח טקסט רב בלשונות מגוונות ומוכן להתמודד עם תיוג מכונה רועש.
- 403הורדות בחודש
- 40לייקים
מה זה
הרשומות במאגר מייצגות משפטים מחולקים למילים, כשלכל מילה מוצמד תיוג ישות מתאים כמו LOC או PER, לצד סימון O למילים רגילות. המבנה כולל שדות פשוטים: מזהה, קוד שפה, רשימת המילים ורשימת התוויות המקבילה להן. התיוגים לא נכתבו בידי אדם אלא הופקו בהליך אוטומטי שהצליב קישורים בוויקיפדיה עם בסיס הידע Freebase, כולל שימוש באלגוריתמים לפתרון התייחסויות בטקסט.
הנתונים מאורגנים לפי תצורות נפרדות לכל שפה. בערבית יש 339,109 רשומות אימון, בבולגרית 559,694, בקטלאנית 372,665 ובצ'כית 564,462. התצורה הכוללת, שמאגדת את כלל הלשונות יחד, מכילה 21,070,925 דוגמאות אימון. אין בכרטיס חלוקה מובנית לסט בדיקה או ולידציה, אלא רק חלוקת אימון.
מתאים ל
- אימון מקדים לזיהוי ישויות
אימון ראשוני של מודלים לחילוץ שמות ומקומות על פני שפות שונות לפני כוונון עדין על מידע איכותי.
- מחקר על תיוג רועש
בדיקת עמידות של ארכיטקטורות למידה מול שגיאות הנובעות מתיוג אוטומטי מבוסס קישורים.
- השוואת ביצועים רב לשונית
מדידת יכולת הכללה במודלים של סיווג טוקנים בשפות עם משאבים בינוניים כמו צ'כית וערבית.
איפה זה נופל
התיוגים נוצרו אוטומטית לחלוטין סביב שנת 2014, ללא בדיקה אנושית, מה שיוצר רעש מובנה, זיהויים שגויים והחמצה של ישויות שלא קושרו בוויקיפדיה. הטקסטים מגיעים מאנציקלופדיה בלבד, ולכן המודל יתקשה על טקסט חופשי, סלנג או שפת שיחה. רשימת השפות כוללת ערבית, פרסית ושפות אירופיות, אך עברית אינה מופיעה ברשימת השפות המפורטת בדף. לפני שמכניסים אותו לתהליך עבודה, צריך לבנות סט בדיקה ידני ואמין, כי המאגר לא מספק אחד כזה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. הרישיון בדף מוגדר כלא ידוע ואין מסמך תנאי שימוש ברור. שילוב הנתונים או מודל שנגזר מהם באפליקציה עסקית חושף אתכם לתביעות זכויות יוצרים.
כמה מקום בדיסק צריך כדי להוריד את המאגר?
הגרסה המלאה דורשת 57.93 גיגה בייט בסך הכל. קבצי ההורדה עצמם שוקלים 45.39 גיגה בייט, והנתונים המעובדים תופסים עוד 12.54 גיגה בייט. אם טוענים שפה בודדת, למשל ערבית, נדרשים כ־1.3 גיגה בייט בלבד.
האם הדאטהסט כולל עברית?
עברית אינה מופיעה ברשימת השפות המוגדרות במטא־דאטה של המאגר. הרשימה המפורטת כוללת שפות כמו ערבית, אנגלית, גרמנית, פרסית וספרדית. עבור פרויקטים בעברית תצטרכו לחפש מקור אחר.
איך נאספו התיוגים של הישויות?
החוקרים לקחו ערכי ויקיפדיה, זיהו קישורים פנימיים והצליבו אותם מול הישויות של מאגר Freebase כדי לקבוע אם מדובר באדם או מקום. לאחר מכן הם הפעילו מודל שפתר אזכורים חוזרים בטקסט. התהליך כולו ממוחשב, ללא עורכים אנושיים.
איך טוענים
אתם טוענים אותו דרך ספריית datasets באמצעות הסקריפט polyglot_ner.py, ללא צורך באישור גישה מיוחד. אפשר למשוך שפה ספציפית דרך הגדרת התצורה המתאימה או להוריד את התצורה המלאה. קבצי המקור הדחוסים שוקלים 45.39 גיגה בייט, ולאחר פריסה ועיבוד המאגר תופס 12.54 גיגה בייט, כך שנדרשים כ־58 גיגה בייט של מקום פנוי בדיסק כדי לעבוד עם הגרסה המלאה.
from datasets import load_dataset
ds = load_dataset("rmyeid/polyglot_ner")הרישיון
הרישיון מוגדר כלא ידוע. כרטיס המאגר משאיר את סעיף הרישוי ריק לחלוטין, למרות שהטקסטים נלקחו מוויקיפדיה ומ־Freebase. מבחינה משפטית, היעדר רישיון מפורש מונע שימוש מסחרי בטוח ומעמיד בסיכון כל מוצר או מודל שמאומן עליו. השימוש בו מתאים רק לניסויי מחקר אקדמיים שאינם למטרות רווח.