opus-mt-en-zh

מה זה

מדובר במודל תרגום מאנגלית לסינית ממשפחת MarianMT, שמבוסס על שש שכבות בלבד. המטרה שלו ממוקדת: לקבל טקסט באנגלית ולהוציא סינית במגוון דיאלקטים וכתבים, כולל מנדרינית, קנטונזית, כתב מפושט ומסורתי. בניגוד למודלי שפה ענקיים שמנסים לעשות הכול, כאן מקבלים ארכיטקטורת תרגום קלאסית וצנועה שעושה רק משימה אחת.

במבחן Tatoeba הרשמי המודל קיבל ציון BLEU של 31.4 ומדד chr-F של 0.268. המספרים האלה מראים שהוא מספק תרגום סביר למשפטים יומיומיים וברורים, אבל הוא בהחלט רחוק מרמת דיוק מושלמת או מתרגום מקצועי שמבין סאבטקסט מורכב. הוא מתאים בעיקר לעיבוד שוטף שבו המהירות והפשטות חשובות יותר מליטוש ספרותי.

מתאים ל

• לוקליזציה של ממשקים

  תרגום מהיר של כפתורים ומחרוזות קצרות מאנגלית לסינית מפושטת או מסורתית.

• עיבוד טקסט פנימי

  המרת שאילתות חיפוש או הודעות קצרות כדי להבין את הכוונה הכללית במערכות פנימיות.

• תרגום אופליין במכשיר קצה

  הרצה מקומית על חומרה חלשה בלי חיבור לרשת ובלי עלויות שרת שוטפות.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים בלבד, מה שפוסל אותו מראש לעבודה עם טקסטים ארוכים. בנוסף, המודל מחייב שימוש בטוקן שפה בתחילת כל קלט במבנה ייעודי כדי להגדיר את היעד, אחרת הפלט לא יהיה צפוי. עם ציון BLEU של 31.4, הוא נוטה לפספס ביטויים סלנגיים, מונחים מקצועיים ומשפטים מפותלים, וחובה לבדוק את התוצרים עם דובר סינית לפני שמשלבים אותו במערכת שפונה ללקוחות.

איך מריצים

המשקל הכולל עומד על 1.4 גיגה בייט, כך שכל מעבד מודרני בשרת זול או אפילו מחשב נייד רגיל יריצו אותו בלי מאמץ דרך ספריית transformers. אין שום צורך בכרטיס מסך ייעודי או בתשתית מורכבת.

אם אתם צריכים לתרגם פסקאות טכניות עמוקות, חוזים או מסמכים שלמים שדורשים הבנת הקשר רחבה, עדיף להשתמש ב־API מסחרי גדול. המודל הזה שווה את זה כשרוצים לחסוך עלויות ענן ולתרגם כמויות גדולות של מחרוזות קצרות באופן מקומי.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-en-zh")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• rust_model.ot578.4 MB
• tf_model.h5312.6 MB
• pytorch_model.bin312.1 MB
• flax_model.msgpack309.9 MB
• vocab.json1.6 MB
• source.spm806.4 KB
• target.spm804.6 KB
• README.md2.7 KB
• metadata.json1.5 KB
• config.json1.4 KB
• .gitattributes391 B
• generation_config.json293 B
• tokenizer_config.json44 B

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה פנימית או חיצונית בתוך מוצרים. הדרישה העיקרית היא לשמור על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗