msra_ner
קוד פתוחlevowunknown2022-03-02
המאגר כולל בין עשרת אלפים למאה אלף רשומות בסינית עבור זיהוי ישויות. הוא רלוונטי למי שמאמן או בוחן מודלים לסיווג טוקנים בשפה זו.
- 299הורדות בחודש
- 24לייקים
מה זה
המאגר מכיל נתונים למשימת זיהוי ישויות שמיות בסינית, ומסווג תחת המשימה של סיווג טוקנים. היקף הרשומות בו נע בין עשרת אלפים למאה אלף דוגמאות. מעבר להגדרות הבסיסיות האלו, כרטיס המאגר ריק מתוכן מהותי. היוצר השאיר את כל הסעיפים המרכזיים עם הכיתוב שדורש מידע נוסף, כך שאין פירוט לגבי מבנה הרשומות, שמות השדות, חלוקת הישויות או אופן התיוג.
מקור הנתונים מופנה בדף הבית למאגר גיטהאב חיצוני בשם Chinese NLP Corpus, אך הכרטיס עצמו אינו מסביר כיצד הטקסטים נאספו, האם בוצע סינון כלשהו, מיהם כותבי הטקסט או מי האנשים שתייגו את הישויות בפועל. בנוסף, אין בכרטיס שום פירוט על חלוקה לסט אימון, מבחן או ולידציה.
מתאים ל
- אימון מודלי ישויות בסינית
אימון מודלים של סיווג טוקנים לזיהוי ישויות שמיות בטקסטים בסינית.
- הערכת ביצועי מודלים
בדיקת דיוק של מודלי שפה קיימים במשימות חילוץ מידע מתוך טקסט סיני.
- ניסויי מחקר ופיתוח
ניסויי בדיקה פנימיים למחקר אקדמי שלא דורשים רישיון מסחרי ברור.
איפה זה נופל
החיסרון המרכזי כאן הוא חוסר שקיפות מוחלט. הכרטיס אינו מתעד הטיות, אינו מציין מקורות של הטקסט, ולא מספק מידע על גיל הנתונים או על המצאות מידע אישי ורגיש. הדאטהסט מוגבל לשפה הסינית בלבד, ללא שום תמיכה בעברית או באנגלית. הכנסת נתונים כאלה לסביבת עבודה דורשת בדיקה ידנית של הדגימות כדי להבין מה איכות התיוג ומה טיב הטקסט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
הרישיון המדווח מוגדר כלא ידוע וכרטיס הנתונים לא מפרט תנאי שימוש. במצב כזה השימוש המסחרי מסוכן ולא מומלץ. עדיף לבדוק את הרישיון המקורי בקישורי הגיטהאב לפני שמשלבים אותו במוצר.
האם יש במאגר טקסטים בעברית?
לא, המאגר מיועד אך ורק לשפה הסינית. הטקסטים והתיוגים כולם בסינית ואין בו נתונים בעברית או בשפות אחרות. אם אתם מחפשים לאמן מודל לעברית, המאגר הזה כלל לא מתאים למטרה.
איך הנתונים נאספו ותויגו?
כרטיס המאגר לא מוסר שום מידע על תהליך האיסוף, הסינון או התיוג של הדוגמאות. כל הסעיפים הרלוונטיים בכרטיס ריקים ומפנים רק למאגר כללי בגיטהאב. מי שרוצה להבין את איכות הנתונים יצטרך לבדוק אותם ידנית בקוד.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה בעזרת המזהה levow/msra_ner. המאגר כולל שלושה קבצים בלבד, ביניהם סקריפט פייתון בשם msra_ner.py וקובץ התיעוד. הגישה פתוחה לחלוטין ואין צורך לבקש אישור מוקדם. לפני שמתחילים להריץ, כדאי לטעון דגימה קטנה ולבדוק ישירות בקוד מהם שמות השדות המדויקים, כי הכרטיס לא מפרט אותם כלל.
from datasets import load_dataset
ds = load_dataset("levow/msra_ner")הרישיון
הרישיון של המאגר מוגדר כלא ידוע. הכרטיס אינו מספק מידע על תנאי שימוש מסחרי, דרישות ייחוס, או מגבלות על שיתוף והפצה של מודלים שאומנו עליו. מבחינה מעשית, לא כדאי להשתמש בו לפיתוח מוצרים מסחריים בלי לברר קודם את תנאי הרישיון במקורות החיצוניים בגיטהאב.