bert-base-NER

מה זה

המודל הזה עבר אימון ייעודי למשימת זיהוי ישויות מתוך טקסט באנגלית על בסיס סט הנתונים CoNLL-2003. הוא מתמקד בארבע קטגוריות בלבד: שמות אנשים, מיקומים, ארגונים, ושונות. במקום להפעיל מודלים ענקיים ויקרים רק כדי להוציא שמות של חברות או ערים מתוך טקסט, מקבלים כאן ארכיטקטורה ישירה ומוכחת שמבצעת סיווג ברמת הטוקן הבודד.

במבחני הבדיקה הוא מציג ציון F1 של 91.3, דיוק של 90.7 ושחזור של 91.9. המספרים האלה מראים שהוא מזהה את רוב הישויות הסטנדרטיות בלי לפספס הרבה, אבל הביצועים האלה נמדדו על כתבות חדשותיות של רויטרס. בטקסט חופשי או בסלנג המספרים האלה צפויים לרדת.

מתאים ל

• חילוץ שמות ומיקומים מכתבות

  הוא אומן על טקסט חדשותי באנגלית ולכן מספק דיוק גבוה על מבנה משפטים עיתונאי.

• סינון מידע אישי מטקסט

  זיהוי שמות אנשים וארגונים באנגלית מאפשר להסיר אותם אוטומטית לפני שמירת המידע.

• תיוג תוכן במערכות חיפוש

  חילוץ אוטומטי של ישויות למאגרי מידע בלי לתחזק שרתי GPU יקרים.

איפה זה נופל

האימון נעשה על כתבות חדשותיות ישנות מרויטרס, ולכן המודל לא מתמודד טוב עם טקסטים מתחומים אחרים כמו רפואה, משפטים או שפה מדוברת. בנוסף, הוא פועל באנגלית בלבד. אם תזינו עברית, הוא פשוט לא יידע מה לעשות איתה.

בעיה טכנית נוספת שהיוצר מציין היא תיוג שגוי ברמת תת-טוקנים. המודל עלול לתייג רק חלק ממילה כישות, מה שמחייב אתכם לבנות שכבת עיבוד נוספת שתאחד את הטוקנים חזרה למילים שלמות לפני שמעבירים את המידע הלאה.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers עם פייפליין של token-classification או דרך המחלקות הייעודיות. עם 108 מיליון פרמטרים ומשקל קבצים של שני גיגה בייט, אפשר להריץ אותו בקלות על מעבד רגיל בכל שרת פשוט, בלי לחפש כרטיסי מסך כבדים ובלי תלויות מורכבות.

אם אתם צריכים מהירות גבוהה במיוחד, היוצר מציע גם גרסת distilbert עם 66 מיליון פרמטרים, או גרסת bert-large עם 340 מיליון פרמטרים למי שמחפש עוד קצת דיוק. אין סיבה לפנות לפתרונות ענן בתשלום עבור משימה כזו, העלויות של הרצה עצמית כאן זניחות.

from transformers import pipeline

pipe = pipeline("token-classification", model="dslim/bert-base-NER")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5433.5 MB
• pytorch_model.bin433.3 MB
• model.safetensors433.3 MB
• onnx/model.onnx431.2 MB
• flax_model.msgpack430.9 MB
• onnx/tokenizer.json668.9 KB
• onnx/vocab.txt213.4 KB
• vocab.txt213.4 KB
• README.md6.6 KB
• onnx/tokenizer_config.json1.3 KB
• onnx/config.json999 B
• config.json829 B
• .gitattributes445 B
• onnx/special_tokens_map.json125 B
• special_tokens_map.json112 B
• onnx/added_tokens.json82 B
• tokenizer_config.json59 B
• added_tokens.json2 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. המשמעות פשוטה: מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗