ner-english-large
קוד פתוחflairother2022-03-02
יש כאן גם סקירה על flair עצמו.
מודל זיהוי ישויות ייעודי באנגלית שמכסה שבע קטגוריות שונות ומציג דיוק גבוה במיוחד. הוא מתאים למי שחייב לשלוף מהטקסט מוצרים ויצירות אמנות ולא רק שמות וערים.
- 2.1 GBמשקל הקבצים
- 55,949הורדות בחודש
- 54לייקים
מה זה
המודל הזה מבצע זיהוי ישויות שמיות עבור טקסטים באנגלית בלבד, כשהוא מחלק את הישויות לשבעה סוגים. מעבר לקטגוריות הרגילות של אנשים, ארגונים ומיקומים, הוא יודע לתייג גם אירועים כמו בחירות או כנסים, מוצרים מסחריים, יצירות אמנות כמו ספרים ושירים, ועוד קטגוריה כללית לשפות ולאומים.
במבחנים הפנימיים של הצוות שפיתח אותו הוא הגיע לציון F1 של 96.1, שזה נתון גבוה מאוד שמעיד על דיוק כמעט ללא פספוסים במערכי הנתונים שלהם. ההבדל המרכזי מול מודלים בסיסיים הוא הרזולוציה. במקום לקבל תיוג גנרי או להסתפק בשלוש הקטגוריות הקלאסיות, אתם מקבלים חלוקה מפורטת בהרבה שמתאימה לניתוח טקסטים עשירים ומורכבים.
מתאים ל
- זיהוי מותגים בביקורות
שליפת שמות מוצרים מדויקים מתוך פסקאות של משתמשים באנגלית.
- מיפוי ישויות באקדמיה
ניתוח טקסטים היסטוריים וספרותיים ללא עלות במסגרת מחקר.
- מעקב אחרי אירועים
חילוץ מועדים, כנסים ומלחמות מתוך כתבות חדשותיות באנגלית.
איפה זה נופל
הבעיה המרכזית שלו היא שהוא מיועד לאנגלית בלבד. אם יש לכם טקסטים בעברית, שמות מקומיים או תוכן מעורב, הוא פשוט לא יעזור. בנוסף, ציון הביצועים של 96.1 נקבע על מערכי בדיקה פנימיים שלא פורטו בכרטיס, כך שחובה לבדוק אותו על הנתונים האמיתיים שלכם לפני שמסתמכים עליו בייצור.
שאלות
נפוצות
האם אפשר להשתמש בו לניתוח טקסטים בעברית?
לא. המודל אומן על אנגלית בלבד ולא מזהה ישויות בעברית. להרצת טקסט עברי צריך מודלים רב לשוניים או מודל ייעודי לעברית.
האם מותר לשלב אותו באפליקציה מסחרית לחברה?
לא באופן ישיר. הרישיון המובנה אוסר כל שימוש מסחרי, כולל שימוש בפלטים שלו בתוך מוצר פעיל. בשביל להשתמש בו מסחרית חובה ליצור קשר עם המפתח ולקבל רישיון בתשלום.
איך מריצים
כדי להריץ אותו מתקינים את ספריית flukes עם פקודת pip רגילה, טוענים את המודל דרך פייתון ומעבירים לו את המחרוזת לחיזוי. הקבצים שוקלים 2.1 גיגה בייט, כך שלא מדובר במודל זעיר אבל הוא עדיין רץ בקלות על מעבד סביר בלי לחייב כרטיס מסך כבד.
בגלל המשקל, הוא לא יתאים למכשירים חלשים או לסביבות קצה מוגבלות במשאבים. אם אתם צריכים לבדוק רק מסמך פה ושם, כנראה שאין טעם להחזיק שרת ייעודי וסביבה מקומית בשבילו ועדיף לחפש חלופות מרוחקות.
pip install -U huggingface_hub hf download flair/ner-english-large
הקבצים
5 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המשקלים מופצים תחת רישיון Flukes Noncommercial License 1.0, מה שאומר שהוא מותר לשימוש אישי, אקדמי או מחקרי בלבד. שימוש מסחרי מכל סוג, כולל שילוב התוצאות במוצר שמוכרים, דורש פנייה במייל אל alan.akbik@hu-berlin.de לקבלת רישיון נפרד.