GPT
הוספת כלי
E

en_core_web_sm

קוד פתוח

spacymit2022-03-02

  • spacy
  • token-classification
  • en
  • model-index

חבילת עיבוד שפה טבעית קלת משקל לאנגלית שמיועדת לריצה ישירה על מעבד רגיל. היא מתאימה למי שחייב מהירות מקסימלית ותקורה אפסית במערכת.

  • 26.7 MBמשקל הקבצים
  • 3,859הורדות בחודש
  • 65לייקים

מה זה

מדובר בצינור עיבוד מלא של spaCy שכולל חלוקה לטוקנים, ניתוח תחבירי, תיוג חלקי דיבר, זיהוי ישויות שמיות ולמטיזציה. הוא אומן על מאגרי OntoNotes 5, WordNet 3.0 והמרות של ClearNLP, כך שהוא מכיר מגוון רחב של מבנים לשוניים סטנדרטיים באנגלית.

ההבדל המרכזי בינו לבין מודלים מודרניים אחרים הוא היעדר וקטורים סטטיים. אין בו וקטורי מילים ייחודיים בכלל, והוא נשען על שכבת tok2vec קטנה מאוד. בגלל המבנה הזה, דיוק זיהוי הישויות שלו עומד על 84.56 בציון F, שזה נמוך יותר ממודלים מבוססי שנאים, אבל הוא מפצה על כך במהירות עיבוד גבוהה מאוד וצריכת זיכרון מזערית. חלוקת הטוקנים מגיעה לדיוק של כמעט 100 אחוזים, ותיוג חלקי הדיבר מגיע ליותר מ־97 אחוזים, כך שלמשימות ניתוח בסיסיות הוא יציב ומדויק מספיק.

מתאים ל

  • חילוץ ישויות מהיר באנגלית

    זיהוי תאריכים, ארגונים ושמות בטקסטים סטנדרטיים בלי להעמיס על השרת.

  • ניתוח תחבירי וחלקי דיבר

    פירוק משפטים וסימון מבנה דקדוקי בדיוק גבוה מאוד עבור מנועי כללים.

  • למטיזציה וניקוי טקסט

    הבאת מילים לצורת הבסיס שלהן כשלב מקדים למנועי חיפוש קלאסיים.

איפה זה נופל

הוא מוגבל לאנגלית בלבד ואינו מתאים לעברית. החולשה העיקרית שלו היא זיהוי ישויות שמיות מורכבות, שם הוא מגיע לכ־84.5 אחוזי דיוק בלבד, ונוטה לפספס שמות פחות מוכרים או הקשרים עמומים. בנוסף, בגלל שאין לו וקטורי מילים, אי אפשר לחשב איתו דמיון סמנטי ישיר בין מילים או מסמכים, כך שאם אתם צריכים חיפוש סמנטי תצטרכו פתרון אחר.

שאלות
נפוצות

האם הוא מתאים לעיבוד טקסטים בעברית?

לא. החבילה אומנה אך ורק על נתונים באנגלית ולא תזהה מבנים או מילים בעברית. לעברית צריך פתרונות ייעודיים לשפה.

האם צריך כרטיס מסך כדי לקבל ביצועים סבירים?

לא, הוא מותאם מראש לרוץ על מעבד רגיל. בזכות המשקל הקל שלו הוא מעבד אלפי מילים בשנייה גם על חומרה בסיסית ביותר.

איך מריצים

מתקינים את ספריית spaCy בגרסה 3.7.2 עד 3.8.0 וטוענים את החבילה ישירות בפייתון. אין שום צורך בכרטיס מסך, הוא תוכנן במיוחד לעבודה מהירה על מעבד רגיל של שרת פשוט או מחשב נייד.

בגודל של 26.7 מגה־בייט אין שום סיבה להשתמש ב־API חיצוני או לשלם לספק ענן על קריאות רשת. מריצים אותו מקומית בתוך התהליך שלכם בלי תלויות כבדות ובלי להוסיף השהיית רשת לכל בקשה.

pip install -U huggingface_hub
hf download spacy/en_core_web_sm

הקבצים

28 קבצים במאגר, 26.7 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, שזה הרישיון הכי פתוח ונוח שיש. מותר להשתמש בו לפרויקטים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך המוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗