span-marker-mbert-base-multinerd
קוד פתוחtomaarsencc-by-nc-sa-4.02023-08-07
פתרון קל משקל לזיהוי ישויות בטקסט רב-לשוני. הוא מחלץ 15 סוגי ישויות שונים ומגיע עם דיוק כולל של 92.48 בציון F1.
- 178Mפרמטרים
- 1.3 GBמשקל הקבצים
- 99,198הורדות בחודש
- 72לייקים
מה זה
במקום להסתמך רק על סיווג כל טוקן בנפרד, המודל הזה מבוסס על ארכיטקטורת SpanMarker מעל bert-base-multilingual-cased. השילוב הזה מתמקד בזיהוי מקטעי טקסט שלמים כישויות, מה שמסייע בדיוק הגבולות של שמות מורכבים.
האימון נעשה על דאטה-סט MultiNERD ומכסה 15 קטגוריות, החל מאנשים, מקומות וארגונים, ועד מחלות, מוסדות, גרמי שמיים וכלי תחבורה. במבחנים על פני 10 שפות שונות, התוצאות מראות יציבות גבוהה. באנגלית ובגרמנית ציון ה־F1 חוצה את 94, בעוד שבסינית הוא יורד לאזור 87.02. המשמעות היא שפות אירופיות מקבלות כיסוי הדוק מאוד, אבל שפות עם מאפיינים שונים דורשות בדיקה זהירה יותר.
מתאים ל
- סיווג ישויות במסמכים
מזהה 15 קטגוריות ישויות בטקסטים רשמיים באנגלית ובשפות אירופיות.
- חילוץ מידע ממאמרים
מאתר מונחים טכנולוגיים, מחלות וגרמי שמיים מתוך טקסטים מחקריים.
- פרויקטי מחקר רב-לשוניים
מתאים להרצה מקומית על לפטופ רגיל לצורכי ניתוח נתונים לא מסחרי.
איפה זה נופל
המודל תלוי באותיות גדולות וקטנות. אם הטקסט שלכם מגיע משיחות צ'אט, תמלול קולי או כל מקור שלא שומר על כתיב תקני, הביצועים שלו ייפגעו. במקרה כזה היוצר עצמו ממליץ לעבור לגרסת uncased.
בנוסף, הכרטיס מציג מדידות רק עבור עשר שפות ספציפיות. עברית לא נכללת במדדים המפורטים, ולכן לא מומלץ להסתמך עליו בטקסטים מקומיים בלי לבצע בדיקת דיוק עצמאית קודם.
שאלות
נפוצות
האם כדאי להשתמש במודל הזה לטקסטים בעברית?
עברית אמנם נתמכת עקרונית במודל הבסיס של mBERT, אך כרטיס המודל לא מציג תוצאות מדידה עליה מתוך MultiNERD. בנוסף, המודל מסתמך על אותיות גדולות כדי לזהות ישויות, מנגנון שלא קיים בעברית. לא הייתי מכניס אותו למערכת כזו בלי לבדוק ביצועים על דאטה אמיתי.
האם המודל מתאים לזיהוי ישויות במוצר מסחרי?
לא. הרישיון שבו הוא מופץ אוסר במפורש שימוש מסחרי מכל סוג. תצטרכו לאמן מודל דומה על בסיס משקל פתוח או לחפש חלופה עם רישיון מסחרי מתאים.
איך מריצים
המשקל הכולל של הקבצים עומד על 1.3 גיגה-בייט עם 178 מיליון פרמטרים. זה גודל שנכנס בקלות לכל מעבד מודרני בלי להזיע, ואפשר להריץ אותו מקומית על לפטופ פיתוח או שרת זול בלי צורך במאיץ גרפי ייעודי.
כל מה שצריך זה להתקין את ספריית span_marker ולהפעיל מתוכה את המודל. כדאי לזכור שקיימת גרסה מקבילה בשם lxyuan/span-marker-bert-base-multilingual-cased-multinerd שאומנה ליותר מחזורים ומציגה ביצועים טובים יותר ברוב השפות. שווה להחזיק אותו על שרת משלכם רק אם יש לכם דרישות פרטיות או נפח עיבוד גבוה, אחרת קריאה לפתרון מנוהל חוסכת את התחזוקה.
pip install -U huggingface_hub hf download tomaarsen/span-marker-mbert-base-multinerd
הקבצים
24 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- pytorch_model.bin711.6 MB
- model.safetensors711.5 MB
- tokenizer.json2.9 MB
- vocab.txt995.5 KB
- runs/events.out.tfevents.1691327192.Tom.464.0381.8 KB
- README.md22.6 KB
- train.py6.2 KB
- config.json5.1 KB
- results/all_results.json3.6 KB
- .gitattributes1.5 KB
- runs/events.out.tfevents.1691375382.Tom.464.2601 B
- results/test_it_results.json361 B
- results/test_pt_results.json361 B
- results/test_fr_results.json360 B
- results/test_de_results.json359 B
- results/test_pl_results.json359 B
- results/test_ru_results.json359 B
- results/test_zh_results.json359 B
- results/test_en_results.json358 B
- results/test_es_results.json358 B
- results/test_nl_results.json358 B
- tokenizer_config.json343 B
- special_tokens_map.json125 B
- added_tokens.json43 B
הרישיון
הרישיון הוא cc-by-nc-sa-4.0. המשמעות ברורה וחותכת: השימוש מוגבל למחקר, פיתוח פנימי ופרויקטים שאינם למטרות רווח. אסור לשלב אותו במוצר מסחרי, ואם אתם מפיצים גרסה שנגזרה ממנו, אתם מחויבים לפרסם אותה תחת אותו הרישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא