gliner_multi

מה זה

במקום לאמן מודל סגור שמכיר רק אנשים וארגונים, או לשלוח פרומפטים יקרים לבוט חיצוני, המודל הזה מתבסס על ארכיטקטורת אנקודר דו-כיוונית דמוית ברט בגודל של 209 מיליון פרמטרים. הרעיון פשוט: מעבירים לו טקסט חופשי ומערך של תוויות שרוצים למצוא באותו רגע, והוא מחלץ את המופעים המתאימים ישירות מתוך התוכן.

הוא אומן על מאגר Pile-NER ומיועד לעבודה רב-לשונית, מה שמאפשר לו לקבל טקסטים בשפות שונות ולזהות גם מונחים מורכבים כמו שמות תרופות או פרסים. ביחס למודלים גדולים שדורשים תשתית כבדה, מדובר במבנה קומפקטי שמבצע משימה ממוקדת של סיווג טוקנים ביעילות גבוהה.

מתאים ל

• מחקר וניסויי שפה

  זיהוי ישויות גמיש בטקסטים בכמה שפות לצורך ניתוח אקדמי ובדיקת היתכנות.

• סיווג ישויות ייחודיות

  חילוץ מונחים מותאמים אישית כמו תרופות או פרסים בלי לאמן מודל ייעודי מראש.

• ניתוח טקסט מקומי

  עיבוד קובצי טקסט על מחשב אישי בחינם ובלי להעביר מידע לשרתים חיצוניים.

איפה זה נופל

הבעיה המרכזית בגרסה הזו היא הרישיון המגביל, שאוסר שימוש מסחרי ומייעד אותה למחקר בלבד. מעבר לכך, מדובר בגרסת הבסיס הראשונה בסדרה, ולכן חסרים בה שיפורים שנכנסו בגרסאות המאוחרות יותר.

כרטיס המודל מציין תמיכה רב-לשונית, אך הוא לא מפרט אילו שפות נבדקו באופן רשמי או איך הוא מתמודד עם טקסט עברי. לפני שמשלבים אותו בזרימת עבודה, חובה לבדוק את איכות הזיהוי על תוויות מותאמות אישית בשפת היעד שלכם.

אותה משפחה

gliner-multi יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי לעבוד איתו צריך להתקין את ספריית gliner בפייתון, לטעון את המשקלים דרך פקודת from_pretrained ולקרוא לפונקציית החילוץ עם הטקסט והתוויות המבוקשות. קבצי המשקל תופסים בערך 1.1 ג'יגה-בייט, כך שאפשר להריץ אותו בקלות על מעבד רגיל או כרטיס גרפי בסיסי מאוד בלי להסתבך עם שרתים יקרים.

גרסה זו שייכת לסדרת v0 המוקדמת. אם אתם צריכים שימוש מסחרי או ארכיטקטורה מעודכנת יותר, קיימות גרסאות v2 ו־v2.1 ברישיון פתוח, בעוד שהמודל הנוכחי מתאים בעיקר לבדיקות מקומיות שבהן לא רוצים לשלם לספק ענן חיצוני לפי טוקנים.

pip install -U huggingface_hub
hf download urchade/gliner_multi

הקבצים

4 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin1.2 GB
• README.md5.5 KB
• gliner_config.json734 B
• .gitattributes153 B

הרישיון

המודל מופץ תחת רישיון cc-by-nc-4.0. המשמעות היא שמותר להשתמש בו, לשנות אותו ולחקור אותו, אך ורק למטרות לא מסחריות ועם מתן קרדיט ליוצרים. אסור להכניס אותו למוצר מניב הכנסה או לשירות עסקי. לשימוש מסחרי, היוצרים עצמם מפנים לגרסאות v2 ו־v2.1 ששוחררו תחת רישיון apache-2.0.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗