fullstop-punctuation-multilang-large

מה זה

מדובר במודל שמקבל טקסט נטול פיסוק ומחזיר לתוכו נקודות, פסיקים, סימני שאלה, מקפים ונקודתיים. הוא בנוי על ארכיטקטורת XLM-RoBERTa עם 24 שכבות וכמעט 559 מיליון פרמטרים, מה שנותן לו יכולת להתמודד עם ארבע שפות אירופיות באותו משקל בלי להחליף מודלים בדרך.

במדדי הבדיקה רואים פערים חדים בין הסימנים. על נקודות הוא מגיע לציון של מעל 0.94 בכל השפות, ובגרמנית הפסיקים מגיעים לציון של 0.945 לעומת 0.819 באנגלית. לעומת זאת, מקפים ונקודתיים נשארים נמוך מאוד בכל השפות, עם ציונים של סביב 0.42 למקף ועד 0.65 לנקודתיים, בעיקר כי אלה סימנים אופציונליים שמתחלפים בקלות בפסיק או נקודה.

מתאים ל

• פיסוק תמלילי אודיו

  הפיכת פלט גולמי של מודלי זיהוי דיבור לטקסט קריא עם נקודות וסימני שאלה.

• חלוקה למשפטים בגרמנית

  הוא מגיע לציון של 0.961 בנקודות ו־0.945 בפסיקים בגרמנית, דיוק גבוה במיוחד לשפה הזו.

• עיבוד מקדים לתרגום מכונה

  הזנת משפטים שלמים ומפוסקים למודלי תרגום שמתקשים לפעול על רצף מילים חסר מבנה.

איפה זה נופל

האימון נעשה על דאטה סט בשם Europarl שמורכב מנאומים פוליטיים בפרלמנט האירופי. היוצרים עצמם מזהירים שהביצועים עלולים להשתנות לרעה מחוץ לתחום הזה, למשל בשיחות יומיומיות, סלנג או טקסטים עסקיים. בנוסף, עברית בכלל לא נתמכת כאן, והדיוק על מקפים ונקודתיים חלש עד רמה שלא כדאי להסתמך עליהם בלי בדיקה ידנית.

איך מריצים

ההרצה פשוטה מאוד בזכות חבילת פייתון ייעודית בשם deepmultilingualpunctuation שחוסכת התעסקות ישירה עם חלון ההקשר של 514 הטוקנים. מתקינים אותה דרך pip ומריצים פונקציה אחת שמקבלת מחרוזת בכל אורך ומחזירה טקסט מפוסק.

הקבצים שוקלים 8.4 גיגה בייט, כך שמדובר במשקל כבד יחסית למשימת סיווג טוקנים. כדי לקבל זמני תגובה טובים בייצור תצטרכו כרטיס גרפי עם זיכרון מספק, ואם מדובר בריצות בודדות או תעבורה נמוכה מאוד, החזקת שרת ייעודי בשבילו תהיה יקרה ולא משתלמת לעומת חלופות קלות יותר.

from transformers import pipeline

pipe = pipeline("token-classification", model="oliverguhr/fullstop-punctuation-multilang-large")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 8.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h52.2 GB
• pytorch_model.bin2.2 GB
• model.safetensors2.2 GB
• onnx/model.onnx_data2.2 GB
• onnx/tokenizer.json17.1 MB
• tokenizer.json17.1 MB
• onnx/sentencepiece.bpe.model5.1 MB
• sentencepiece.bpe.model5.1 MB
• onnx/model.onnx617.8 KB
• README.md6.0 KB
• training_args.bin2.4 KB
• .gitattributes1.4 KB
• onnx/config.json953 B
• config.json892 B
• onnx/tokenizer_config.json496 B
• tokenizer_config.json406 B
• onnx/special_tokens_map.json280 B
• special_tokens_map.json239 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. זהו רישיון מתירני שמאפשר להשתמש בקוד ובמשקלים לצרכים מסחריים ופרטיים, לשנות אותם ולשלב אותם בתוך מוצרים סגורים, בלי תשלום תמלוגים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗