multiconer_v2
קוד פתוחMultiCoNERcc-by-4.02023-03-01
מאגר זיהוי ישויות מרובה שפות עם תיוג מפורט במיוחד, שנבנה למקרים קשים ומורכבים. הוא מתאים למי שרוצה לאמן מודלים על ישויות מורכבות מעבר לקטגוריות הבסיסיות הרגילות.
- 1,602הורדות בחודש
- 19לייקים
מה זה
המאגר כולל בין מאה אלף למיליון רשומות המחולקות לשתים עשרה שפות שונות, ביניהן אנגלית, ספרדית, גרמנית, סינית, פרסית ואוקראינית. הרשומות מגיעות בפורמט CoNLL המוכר, שבו כל מילה מופיעה בשורה נפרדת לצד התיוג שלה לפי סכמת BIO.
במקום להסתפק בקטגוריות כלליות כמו אדם, מיקום או ארגון, החלוקה כאן יורדת לרזולוציות עדינות של תתי סוגים. הקבוצות הראשיות כוללות יצירות אמנות, רפואה, קבוצות, מוצרים, אנשים ומיקומים, ומתוכן נגזרים תיוגים כמו מדען, תוכנה, יצרן רכב, מבנה אנטומי או תרופה.
הנתונים מחולקים מראש לערכות אימון, פיתוח ומבחן לכל שפה בנפרד דרך 42 קבצים שונים. דפי הדאטהסט לא מפרטים מאיזה מקורות טקסט מדויקים נאספו המשפטים או כיצד בוצע הסינון, ומציינים שפרטים אלה יושלמו בהמשך.
מתאים ל
- זיהוי ישויות רפואיות
אימון מערכות לזיהוי שמות תרופות, מחלות, פרוצדורות ומבנים אנטומיים בטקסט חופשי.
- חילוץ שמות יצירות ומוצרים
זיהוי יצירות מוזיקה, ספרים, תוכנות וסוגי רכבים בשיחות ושאילתות משתמשים.
- בנצ'מרק למודלי שפה רב לשוניים
הערכת ביצועי מודלי סיווג טוקנים בשתים עשרה שפות על ישויות מורכבות.
איפה זה נופל
עברית לא נכללת במאגר הזה, כך שהוא לא יעזור למי שמפתח ישירות לשוק המקומי אלא אם המטרה היא מודל רב לשוני רחב. מעבר לכך, התיעוד הרשמי משאיר את תהליך איסוף הנתונים והסינון תחת הגדרת TBD, בלי לפרט הטיות מובנות או כיסוי דומיינים מדויק. חוסר השקיפות הזה מחייב בדיקה ידנית של איכות התיוגים והטקסטים לפני שמבססים עליהם מערכת קריטית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא CC BY 4.0 שמתיר שימוש מסחרי ללא הגבלה. עליכם רק לציין את הקרדיט ליוצרי המאגר בתיעוד המוצר שלכם. אין דרישה לפתוח את קוד המקור של המודל שתאמנו.
האם יש במאגר תמיכה בשפה העברית?
לא, עברית אינה מופיעה בין שתים עשרה השפות שנתמכות בפרויקט. השפות הזמינות כוללות בין היתר אנגלית, גרמנית, ספרדית, פרסית, בנגלית ואוקראינית. לפיתוח בעברית תצטרכו לחפש מאגרי מידע מקומיים אחרים.
איך נאספו הטקסטים והתיוגים בדאטהסט?
כרטיס המאגר מציין שהמידע על יצירת הדאטהסט טרם פורסם במלואו בעמוד. ידוע כי הוא מיועד למשימת SemEval-2023 וכולל טקסטים עם רעש וישויות מורכבות. פרטים מלאים על שיטות הדגימה והבטחת האיכות מופיעים במאמרים האקדמיים המקושרים.
מה ההבדל בין המאגר הזה למאגרי ישויות רגילים?
בניגוד למאגרים קלאסיים שמסתפקים בקטגוריות בסיסיות, כאן התיוג יורד לתת קטגוריות מדויקות כמו ספורטאים, במאים או תסמינים. בנוסף, המאגר נבנה במכוון להתמודד עם שמות מורכבים ולא סטנדרטיים שגוזלים זמן רב ממודלים רגילים.
איך טוענים
טוענים את המידע ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם ציון המזהה MultiCoNER/multiconer_v2 ושם השפה המבוקשת, למשל English (EN). אין צורך בבקשת גישה מיוחדת או באישור ידני.
המבנה מבוסס על שורות טקסט של טוקנים ותגיות, יחד עם מזהה ייחודי ותחום השפה לכל דגימה. מאחר שהפורמט מבוסס CoNLL, יש לבצע עיבוד מקדים שמאגד את הטוקנים חזרה לרמת משפט וממיר את התוויות למזהים מספריים לפני שמעבירים אותם למודל.
from datasets import load_dataset
ds = load_dataset("MultiCoNER/multiconer_v2")הרישיון
הרישיון הוא CC BY 4.0, שמאפשר שימוש חופשי כולל שימוש מסחרי מלא, שינוי והפצה של הנתונים. הדרישה היחידה היא מתן קרדיט מתאים ליוצרים וציון הרישיון. מודלים שתאמנו על הדאטהסט אינם מחויבים להיפתח תחת אותו רישיון, כך שניתן לשלב את תוצרי האימון במוצרים סגורים ומסחריים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס