opus-mt-ja-en

מה זה

מדובר במודל ייעודי לתרגום מיפנית לאנגלית, שמבוסס על ארכיטקטורת MarianMT עם שש שכבות בלבד. הוא לא מנסה להיות מודל שפה כללי שמנחש את התשובה הבאה או כותב קוד, אלא עושה דבר אחד: לוקח משפט ביפנית ומחזיר אותו באנגלית.

במדד Tatoeba הוא קיבל ציון BLEU של 41.7 וציון chr-F של 0.589. אלה מספרים סבירים מאוד למשפטים קצרים ויומיומיים, שמראים שהוא שומר על דיוק תחבירי בסיסי ומשמר את רוב המילים, אבל אל תצפו ממנו להתמודד עם סלנג כבד, שירה או טקסטים טכניים מסובכים שדורשים הבנה עמוקה של ההקשר.

מתאים ל

• תרגום ממשקים וכותרות

  מתאים למחרוזות קצרות ומוגדרות מראש, איפה שאין צורך בהקשר רחב והמהירות קובעת.

• עיבוד טקסט אופליין

  פתרון טוב לצינורות מידע שרצים ללא חיבור רשת חיצוני ושומרים על פרטיות מלאה.

• תרגום תגובות ופוסטים קצרים

  מספיק טוב כדי לתת למשתמשים להבין את הכוונה הכללית של טקסט שנכתב ביפנית.

איפה זה נופל

חלון ההקשר שלו מוגבל ל־512 טוקנים, כך שאי אפשר להזין לו מסמכים שלמים ברצף, ותצטרכו לחתוך את הטקסט למשפטים לפני השליחה. מעבר לזה, המודל אומן על קורפוס OPUS והתוצאות מבוססות על מבחני Tatoeba שמורכבים ממשפטים קצרים יחסית. הוא נוטה לפשל כשהמשפטים ארוכים, כשיש שימוש בניואנסים תרבותיים, או כשהטקסט כולל מונחים מקצועיים שלא מופיעים במאגר המקורי.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון עם MarianMTModel. עם משקל של 582 מגה בייט, אתם אפילו לא צריכים כרטיס מסך ייעודי, הוא ירוץ מצוין על מעבד רגיל בכל לפטופ פשוט או בתוך קונטיינר קטן בשרת.

אם אתם צריכים לתרגם אלפי פסקאות קצרות ברקע ובחינם, עדיף להריץ אותו אצלכם במקום לשלם על כל קריאה לשרותי תרגום חיצוניים. לעומת זאת, אם יש לכם מסמכים מורכבים מאוד או שאתם לא רוצים לתחזק תשתית, עדיף לפנות ל־API חיצוני.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-ja-en")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 582 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5303.8 MB
• pytorch_model.bin303.3 MB
• vocab.json1.5 MB
• target.spm801.9 KB
• source.spm781.9 KB
• config.json1.4 KB
• README.md818 B
• .gitattributes345 B
• generation_config.json293 B
• tokenizer_config.json42 B

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי לחלוטין, כולל פרויקטים מסחריים ומוצרים סגורים. אתם יכולים לשנות את הקוד, להטמיע אותו בשרתים שלכם ולהפיץ אותו, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗