xlm-roberta-large-finetuned-conll03-english

מה זה

מדובר בגרסת הלארג' של XLM-RoBERTa, הכוללת 24 שכבות וכ־560 מיליון פרמטרים, שאומנה מראש על 2.5 טרה בייט של מידע מ־CommonCrawl במאה שפות שונות. על גבי הבסיס הזה, פייסבוק אימנו אותו ספציפית למשימת סיווג טוקנים באמצעות מערך הנתונים conll2003 באנגלית, כך שהוא מחזיר תיוגים מדויקים לישויות כמו אנשים, מיקומים וארגונים.

השילוב הזה נותן מודל שמבין מבנים לשוניים מורכבים טוב יותר ממודלים קטנים שמיועדים לאנגלית בלבד, אבל הוא דורש שתשלמו על זה במשאבים. אין כאן מודל יוצר טקסט, אלא רכיב שמקבל טקסט קצר יחסית ומחזיר את הגבולות והסוג של כל ישות שמופיעה בו.

מתאים ל

• חילוץ שמות ומיקומים

  זיהוי אוטומטי של אנשים וערים מתוך פסקאות קצרות באנגלית עם רמת דיוק גבוהה של מודל לארג'.

• תיוג חלקי דיבר

  ניתוח תחבירי וסיווג טוקנים ברמת המילה לטקסטים באנגלית על בסיס ארכיטקטורת RoBERTa.

• ניקוי ישויות ממסמכים

  איתור ישויות מזוהות כדי להסיר או לטשטש פרטים אישיים בטקסטים אנגליים לפני עיבוד נוסף.

איפה זה נופל

חלון ההקשר מוגבל ל־514 טוקנים בלבד, כך שאי אפשר לזרוק אליו מסמכים שלמים בלי לחתוך אותם לפסקאות קצרות קודם. בנוסף, למרות שהבסיס שלו אומן על 100 שפות, הכיוונון הספציפי נעשה רק על conll2003 באנגלית, ולכן לא הייתי מסתמך עליו לחילוץ ישויות בעברית או בשפות אחרות בלי אימון נוסף.

כרטיס המודל מציין בפירוש קיומן של הטיות מובנות במערכות זיהוי ישויות באנגלית, שנוטות להיכשל בזיהוי שמות מקבוצות דמוגרפיות מסוימות. צריך לבדוק אותו מול הנתונים האמיתיים שלכם לפני שסומכים על התוצאות.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־8.4 גיגה בייט, כך שלא מריצים אותו כלאחר יד על מחשב נייד רגיל. בשביל להריץ אותו דרך transformers עם ביצועים סבירים בזמן אמת, תצטרכו כרטיס מסך ייעודי עם מספיק זיכרון וידאו, לפחות 12 עד 16 גיגה בייט לצורך הסקת מסקנות יציבה.

אם יש לכם שרת עם מאיץ גרפי מתאים ואתם צריכים עיבוד מקומי מסיבות של פרטיות או נפח דרישות קבוע, הטעינה דרך הקוד ישירה לגמרי. אם אתם רק צריכים לתייג כמה עשרות מסמכים ביום, החזקת שרת ייעודי למודל כזה תעלה לכם יותר משימוש ב־API חיצוני של ספק ענן.

from transformers import pipeline

pipe = pipeline("token-classification", model="FacebookAI/xlm-roberta-large-finetuned-conll03-english")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 8.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin2.2 GB
• rust_model.ot2.2 GB
• model.safetensors2.2 GB
• onnx/model.onnx_data2.2 GB
• onnx/tokenizer.json17.1 MB
• tokenizer.json9.1 MB
• onnx/sentencepiece.bpe.model5.1 MB
• sentencepiece.bpe.model5.1 MB
• onnx/model.onnx617.8 KB
• README.md7.7 KB
• onnx/tokenizer_config.json1.2 KB
• onnx/config.json1.0 KB
• config.json852 B
• .gitattributes577 B
• onnx/special_tokens_map.json167 B
• onnx/added_tokens.json76 B
• tokenizer_config.json25 B

הרישיון

הרישיון של המודל הזה לא דווח בכרטיס המודל הרשמי. זה אומר שמבחינה משפטית אין כרגע היתר שימוש ברור, וארגונים לא יכולים להכניס אותו למוצר מסחרי בלי לבדוק לעומק את תנאי השימוש במאגר המקורי ובמחקר המקביל של פייסבוק.

הרישיון המלא בעמוד המודל ↗