multinerd
קוד פתוחBabelscapecc-by-nc-sa-4.02023-04-20
מאגר לאימון זיהוי ישויות ב־10 שפות עם חלוקה מפורטת ל־15 קטגוריות שונות. הוא מתאים למי שמחפש קטגוריות עמוקות יותר משלושת הסוגים הרגילים של שמות, מקומות וארגונים.
- 1,442הורדות בחודש
- 26לייקים
מה זה
הנתונים מורכבים ממשפטים שמחולקים לטוקנים ולתגיות סיווג מספריות לפי פורמט מקובל. במקום להסתפק בקטגוריות הקלאסיות, המאגר כולל 15 סוגי ישויות כמו מחלות, צמחים, חיות, גרמי שמיים, כלי רכב, מזון ודמויות מיתולוגיות. הטקסטים עצמם נלקחו מוויקיפדיה ומ־WikiNews, ומכסים עשר שפות שונות: אנגלית, סינית, הולנדית, צרפתית, גרמנית, איטלקית, פולנית, פורטוגזית, רוסית וספרדית.
האיסוף והתיוג נעשו באופן אוטומטי בשיטה שיוצרת דאטה כסוף, כלומר ללא בדיקה ידנית של כל רשומה ורשומה. היוצרים שילבו שיטות מעבודות קודמות שלהם, תוך התבססות על קישורים וישויות מוויקיפדיה כדי לחלץ את הטקסונומיה הרחבה. במאגר יש 32 קבצים, והם מחולקים לפי שפות ופיצולים בפורמט שורות ג'ייסון.
מתאים ל
- אימון זיהוי ישויות רב־לשוני
אימון מודלים לזיהוי 15 סוגי ישויות בטקסטים אנציקלופדיים ב־10 שפות שונות במחקר אקדמי.
- חילוץ ישויות רפואיות ומדעיות
איתור קטגוריות כמו מחלות, ביולוגיה וגרמי שמיים מתוך מסמכים ומאמרים ללא צורך בהגדרה ידנית.
- בדיקת ביצועים למודלים
מבחן ביצועים לקטגוריות מורכבות מעבר לשמות אנשים וארגונים, לצורך השוואת ארכיטקטורות במחקר.
איפה זה נופל
התיוג נוצר אוטומטית מטקסטים של ויקיפדיה, כך שאיכות הסימון פחות מדויקת מתיוג אנושי ויש בה טעויות מובנות. אין במאגר עברית כלל, מה שהופך אותו ללא רלוונטי למי שבונה מודל מקומי לשפה שלנו. בנוסף, הטקסט מוגבל לסגנון אנציקלופדי וחדשותי, ולכן מודל שילמד עליו יתקשה מאוד עם טקסטים חופשיים, שיחות בצ'אט או שגיאות כתיב נפוצות.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא. הרישיון של המאגר הוא CC BY-NC-SA 4.0 שמגביל את השימוש למחקר לא מסחרי בלבד. אימון מודל שמיועד למכירה או לחברה עסקית מפר את תנאי הרישיון.
האם הדאטהסט כולל עברית?
לא, אין בו עברית. המאגר כולל עשר שפות בלבד, ביניהן אנגלית, ספרדית, גרמנית, צרפתית וסינית, כולן ממקורות ויקיפדיה באותן שפות.
איך תויגו 15 הקטגוריות השונות?
התיוג נעשה בצורה אוטומטית על בסיס הקישורים והמבנה של ויקיפדיה ו־WikiNews. בגלל שלא מדובר בתיוג אנושי ישיר, ייתכנו אי דיוקים ורעש בסימונים של חלק מהישויות.
מה ההבדל בין המאגר הזה למאגרי ישויות רגילים?
רוב מאגרי הישויות מתמקדים בשלוש או ארבע קטגוריות בסיסיות כמו אנשים, מיקומים וארגונים. כאן יש 15 קטגוריות שמכסות תחומים צרים יותר כמו כלי רכב, מזון, צמחים ומחלות.
איך טוענים
טוענים את הנתונים ישירות מספריות סטנדרטיות או בקריאת קובצי jsonl לפי שפה. המאגר פתוח ואינו דורש אישור גישה מקדים או מילוי טפסים. בכל רשומה מקבלים רשימת מחרוזות של טוקנים, רשימת תגיות מספריות מ־0 עד 30 שמייצגות את הישויות בתחילתן או בהמשכן, ושדה שמגדיר את השפה. כדאי למפות מראש את המילון שממיר בין המספרים לשמות הישויות כדי לא לעבוד על עיוור.
from datasets import load_dataset
ds = load_dataset("Babelscape/multinerd")הרישיון
הרישיון הוא cc-by-nc-sa-4.0, מה שאומר שמותר להשתמש בו למטרות מחקר בלבד ואסור לחלוטין לכל שימוש מסחרי. חובה לתת קרדיט ליוצרים, ואם משנים את הנתונים או מפיצים אותם הלאה, חייבים לעשות זאת תחת אותו רישיון בדיוק. מודל שאומן על הנתונים האלה לא יכול להיכנס לשום מוצר או שירות שמניב הכנסה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא