gliner_medium-v2.1
קוד פתוחurchadeapache-2.02024-03-17
זה מודל קטן לחילוץ ישויות שמזהה כל סוג ישות שתגדירו לו במקום. הוא חוסך קריאות יקרות ל־LLM ענק בלי לכבול אתכם לקטגוריות קבועות מראש.
- 195Mפרמטרים
- 1.5 GBמשקל הקבצים
- 30,774הורדות בחודש
- 52לייקים
מה זה
מדובר במודל מבוסס מקודד דמוי BERT עם 195 מיליון פרמטרים שמיועד לסיווג טוקנים וחילוץ ישויות פתוח. בניגוד לכלי NER מסורתיים שמוגבלים לרשימה סגורה של שמות אנשים, מקומות או תאריכים, המודל הזה מאפשר לכם להזין טקסט לצד תוויות חופשיות לגמרי והוא יאתר אותן לפי ההקשר.
הגישה הזו פותרת צוואר בקבוק מוכר בפיתוח. במקום לשלם על מודל שפה ענק וכבד עבור פעולה נקודתית של חילוץ מידע, מקבלים ארכיטקטורה קומפקטית שמתמקדת אך ורק במשימה הזו. היא דורשת פחות משאבים משמעותית ורצה מהר, בלי צורך באימון מחדש עבור כל סוג ישות חדש שצץ במערכת.
מתאים ל
- חילוץ ישויות מותאמות אישית
זיהוי פרסים, שמות טורנירים או קבוצות מתוך טקסטים באנגלית בלי לאמן מודל ייעודי.
- החלפת LLM בצנרת נתונים
קיצוץ עלויות עיבוד על ידי העברת משימות סימון ישויות ממודל שפה יקר למודל מקומי קל.
- ניתוח מסמכים על שרת מקומי
הרצה מקומית מלאה לעיבוד טקסטים רגישים שאי אפשר להוציא לרשת או ל־API חיצוני.
איפה זה נופל
המודל אומן ותומך רשמית באנגלית בלבד. אם יש לכם טקסטים בעברית, הוא פשוט לא מיועד לזה ותצטרכו לבחור בגרסה הרב־לשונית של הפרויקט. מעבר לזה, המודל מתמקד בזיהוי ישויות בלבד ולא יודע לענות על שאלות, לסכם או לייצר טקסט חופשי.
שאלות
נפוצות
האם המודל תומך בעברית?
לא. המודל הזה תומך באנגלית בלבד. אם המערכת שלכם מעבדת עברית, כדאי לבדוק את גרסת gliner_multi-v2.1 שמיועדת למספר שפות.
האם חייבים GPU בשביל להריץ אותו בזמן אמת?
לא חובה. המודל כולל 195 מיליון פרמטרים ושוקל 1.5 גיגה בייט, כך שהוא ירוץ גם על מעבד רגיל. עם זאת, עבור נפחי תעבורה גבוהים או דרישה לזמני תגובה נמוכים מאוד, מומלץ להשתמש במאיץ גרפי.
איך מריצים
כדי להריץ אותו מתקינים את ספריית gliner וטוענים את המשקלים ישירות בקוד פייתון. קבצי המודל שוקלים 1.5 גיגה בייט סך הכול, כך שאפשר להריץ אותו בקלות על מעבד רגיל, אם כי כרטיס מסך בסיסי יספק זמני תגובה עדיפים בהרבה.
בגרסאות המוקדמות הרישיון היה מגביל יותר, אך סדרת v2.1 פתוחה לחלוטין. אין סיבה אמיתית לפנות לשירותי ענן חיצוניים כדי לתחזק אותו, אלא אם אין לכם שרת ייעודי ואתם מעדיפים לא לנהל תשתית עצמאית כלל.
pip install -U huggingface_hub hf download urchade/gliner_medium-v2.1
הקבצים
5 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ תחת רישיון apache-2.0. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר סגור ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים המקורית והתנאים הנלווים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים