opus-mt-en-hi

מה זה

מדובר במודל תרגום מבוסס MarianMT עם 6 שכבות בלבד, שמתמקד אך ורק בזוג השפות אנגלית והינדי. הוא אומן ביוני 2020 על בסיס נתוני פרויקט Tatoeba, ועושה עיבוד טקסט באמצעות נרמול וספריית SentencePiece עם אוצר מילים של 32 אלף טוקנים.

מבחינת ביצועים, המספרים בכרטיס המודל מראים בדיוק מה הוא שווה. במבחן Tatoeba הוא מגיע לציון BLEU של 16.1, אבל בטקסטים מורכבים יותר כמו חדשות התוצאה צונחת ל־6.9 ו־9.9 בלבד. המשמעות ברורה, הוא יודע להתמודד עם משפטים קצרים ופשוטים, אבל מול טקסט עשיר, תחביר מורכב או שפה מקצועית הוא יתקשה מאוד לייצר תרגום קריא.

מתאים ל

• לוקליזציה של ממשקים

  תרגום שמות כפתורים, תפריטים והודעות מערכת קצרות מאנגלית להינדי בלי עלויות ענן.

• תרגום הודעות בצ'אט

  מענה בסיסי ומהיר לפניות קצרות של משתמשים בסביבה מקומית ודלת משאבים.

• עיבוד נתונים ראשוני

  תרגום גס של מאגרי מידע קצרים מאנגלית לצורך אינדוקס או סיווג בהינדי.

איפה זה נופל

הבעיה העיקרית כאן היא רמת הדיוק. ציוני ה־BLEU הנמוכים במבחני החדשות מעידים על תרגום שנוטה להישבר במשפטים מורכבים. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים בלבד, כך שאי אפשר להזין אליו מסמכים ארוכים ברצף. הוא מוגדר לתרגום מאנגלית להינדי בלבד, לא עובד בכיוון ההפוך, ולא מבין שפות אחרות כמו עברית.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.1 גיגה בייט, כך שאפשר להריץ אותו דרך ספריית transformers על כמעט כל מעבד מודרני בלי להזדקק לכרטיס מסך ייעודי. צריכת הזיכרון שלו נמוכה מאוד ומאפשרת להכניס אותו ישירות לתוך קונטיינר קטן בשרת קיים.

אם אתם צריכים לתרגם כמויות גדולות של ממשקים, כפתורים או פניות קצרות בתקציב אפס, הרצה עצמית שלו סוגרת את הפינה. לעומת זאת, אם אתם בונים שירות שמתרגם מאמרים ארוכים או תוכן קריטי, עדיף להשתמש ב־API מסחרי גדול כדי לא לקבל טקסט משובש בהינדי.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-en-hi")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• rust_model.ot559.6 MB
• tf_model.h5306.3 MB
• pytorch_model.bin305.8 MB
• vocab.json2.1 MB
• target.spm1.1 MB
• source.spm812.2 KB
• README.md2.1 KB
• config.json1.4 KB
• metadata.json1.1 KB
• .gitattributes345 B
• generation_config.json293 B
• tokenizer_config.json44 B

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי לחלוטין. אתם יכולים לשלב אותו במוצר שלכם, לשנות את הקוד ולהפיץ אותו, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗