gliner_medium_news-v2.1
קוד פתוחEmergentMethodsapache-2.02024-04-17
פתרון קומפקטי לחילוץ ישויות גמיש מתוך טקסטים חדשותיים באנגלית. הוא מזהה שמות, תאריכים וארגונים בלי שתצטרכו להגדיר מראש קטגוריות קשיחות.
- 195Mפרמטרים
- 1.5 GBמשקל הקבצים
- 12,544הורדות בחודש
- 82לייקים
מה זה
מדובר בכיוונון של מודל GLiNER שמבוסס על ארכיטקטורת DeBERTa, ומיועד למשימות של זיהוי ישויות בגישת zero-shot. במקום לאמן מודל נפרד לכל קבוצת ישויות, אתם פשוט מגדירים לו אילו טיפוסים לחפש בזמן הריצה, כמו כלי רכב, תאריכים או ארגונים, והוא מוצא אותם מתוך הטקסט.
הצוות אימן אותו על דאטהסינטתי של חדשות מרחבי העולם שנאסף ותומצת בעזרת מודלים גדולים אחרים. לפי נתוני המפתחים, ההתאמה הזו הוסיפה עד 7.5 אחוזים ברמת הדיוק ב־18 מבחני ביצועים ביחס למודל הבסיס. זה הופך אותו לגרסה חדה יותר להתמודדות עם טקסטים עיתונאיים ארוכים ומגוונים בלי לנפח את גודל המודל.
מתאים ל
- ניתוח מאמרי חדשות
חילוץ ישויות גמיש מכתבות ומאמרים ארוכים באנגלית, בדיוק גבוה יותר מזה של מודל הבסיס.
- חילוץ ישויות מותאם אישית
שליפת קטגוריות ייחודיות כמו כלי רכב או מספרי גיל בלי צורך באימון מחדש של המודל.
- צינור עיבוד מהיר
תיוג כמויות גדולות של טקסט בזמן אמת בלי לייצר עלויות ענן כבדות של מודלי שפה גדולים.
איפה זה נופל
המודל מיועד אך ורק לאנגלית, כך שלטקסטים בעברית הוא לא יעזור כלל, גם אם המקור היה תרגום. בנוסף, המפתחים מודים שהאימון נשען על דאטה שנוצר בידי Llama ו־WizardLM, ולכן הוא נוטה באופן מובהק להטיות מערביות וסוחב איתו את השגיאות וההזיות של מודלי המקור. חובה לבדוק אותו על סוגי הטקסט שלכם לפני שסומכים על התיוגים שלו בעיניים עצומות.
שאלות
נפוצות
האם אפשר להשתמש בו לטקסטים בעברית?
לא. המודל אומן ותומך בשפה האנגלית בלבד, גם אם חלק מהדאטה תורגם משפות זרות לאנגלית במהלך שלב האימון.
איזו חומרה צריך כדי להריץ אותו בשרת ייצור?
הוא שוקל רק 1.5 גיגה־בייט וכולל פחות מ־200 מיליון פרמטרים, כך שאפשר להריץ אותו אפילו על מעבד רגיל. לביצועים מהירים בקצב גבוה, מספיק כרטיס מסך בסיסי וזול.
איך מריצים
עם 195 מיליון פרמטרים ומשקל קבצים של כ־1.5 גיגה־בייט, אין צורך בשרתי ענק. אפשר להריץ אותו ישירות דרך ספריית gliner בפייתון, והוא עובד בקלות על מעבד רגיל, אם כי כרטיס מסך בסיסי יספק זמני תגובה מהירים מאוד לעיבוד כמויות גדולות של מידע.
אם אתם צריכים לנתח שטף שוטף של מאמרים, הרצה עצמית על שרת קטן משתלמת בהרבה משימוש ב־API חיצוני של מודלי שפה גדולים, שעולים פי כמה ומגיבים לאט יותר למשימות של תיוג מילים.
pip install -U huggingface_hub hf download EmergentMethods/gliner_medium_news-v2.1
הקבצים
10 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ תחת רישיון Apache 2.0, שמאפשר שימוש חופשי לגמרי, כולל שילוב במוצרים מסחריים והפצה מחדש. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים