opus-mt-en-ru

מה זה

מדובר במודל MarianMT קלאסי שמיועד למשימה אחת בלבד, לקחת משפט באנגלית ולהוציא אותו ברוסית. הוא לא מודל שפה כללי, אין לו מושג איך לנהל שיחה ואי אפשר לבקש ממנו לתכנת. הגודל שלו, קצת יותר מגיגהבייט, משאיר אותו מהיר ופשוט מאוד ביחס לכל מפלצת מודרנית.

במדדי התרגום הרשמיים הוא מציג ציוני BLEU שנעים סביב 23 עד 31 על מבחני חדשות, ותוצאה של 48.4 על משפטי Tatoeba. בפועל זה אומר שעל משפטים יומיומיים וקצרים הוא עובד יפה מאוד, אבל על טקסט עיתונאי מורכב או תחביר פתלתל תראו ירידה מורגשת בדיוק, עם תרגום שעלול לצאת מילולי מדי.

מתאים ל

• לוקליזציה של ממשקים

  תרגום שורות קצרות, כפתורים והודעות מערכת מאנגלית לרוסית, מקומית ובלי עלויות ענן.

• תרגום בסביבות ללא רשת

  מערכות פנימיות שדורשות פרטיות מידע מוחלטת ולא יכולות להוציא טקסטים לשירותים חיצוניים.

• עיבוד מקדים למידע רב

  תרגום כמויות גדולות של פוסטים או הודעות קצרות מאנגלית לרוסית לפני ניתוח נתונים.

איפה זה נופל

חלון ההקשר עומד על 512 טוקנים בלבד. אי אפשר לזרוק אליו מסמכים שלמים, מאמרים ארוכים או פסקאות מורכבות בלי לחתוך אותם קודם למשפטים קצרים. בנוסף, הוא עובד רק בכיוון אחד, מאנגלית לרוסית, ולשום שפה אחרת כולל עברית. הוא אומן על נתוני OPUS ומבנה הטקסטים שם גורם לו לפעמים לפספס סלנג מודרני, שמות מותגים או שפה טכנית ספציפית.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון עם MarianMTModel וסוגרים עניין. בזכות 6 שכבות ומשקל של 1.1 גיגהבייט לא צריך בשבילו כרטיס מסך מפלצתי, והוא ירוץ חלק אפילו על מעבד רגיל של מחשב נייד או שרת ענן פשוט וזול.

אם יש לכם כמות קטנה של טקסטים או צורך בתרגום פעם ביום, שווה לשקול סתם קריאה לשירות ענן קיים. המודל הזה משתלם כשאתם מריצים אלפי פניות ברצף ולא רוצים לשלם על כל טוקן, או כשאתם עובדים בסביבה סגורה בלי אינטרנט.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-en-ru")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• rust_model.ot563.1 MB
• tf_model.h5307.5 MB
• pytorch_model.bin307.0 MB
• vocab.json2.6 MB
• target.spm1.1 MB
• source.spm802.8 KB
• config.json1.4 KB
• README.md1.1 KB
• .gitattributes345 B
• generation_config.json293 B
• tokenizer_config.json42 B

הרישיון

הרישיון הוא Apache 2.0, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, להטמיע בקוד סגור ולהפיץ אותו הלאה. הדרישה העיקרית היא לשמור על הודעת זכויות היוצרים המקורית והרישיון בתוך הפרויקט שלכם, בלי לקחת אחריות על שגיאות תרגום.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗