opus-mt-de-en

מה זה

זהו מודל מבוסס MarianMT עם 6 שכבות בלבד, שנועד לתרגם מגרמנית לאנגלית בלבד מתוך מאגר הנתונים OPUS. הוא משתמש בטוקניזציה של SentencePiece ועושה משימה אחת בצורה ישירה, בלי יכולות שיחה ובלי יומרה להבין את העולם מעבר לתרגום הטקסט שמזינים אליו.

מבחני הביצועים מראים פערים ברורים בין סוגי טקסטים שונים. במשפטים קצרים ופשוטים ממאגר Tatoeba הוא מגיע לציון BLEU של 55.4, אבל במבחני חדשות מורכבים כמו newstest מציג טווח שנע בין 26.8 בטקסטים מוקדמים ל־43.7 בטקסטים חדשים יותר. זה אומר שככל שהמשפט ארוך ומורכב יותר תחבירית, התרגום יהיה פחות מדויק וידרוש בדיקה.

מתאים ל

• תרגום טקסטים רגישים

  אידיאלי להרצה אופליין בתוך רשת סגורה, בלי לשלוח נתונים לשרתים חיצוניים.

• עיבוד תגובות משתמשים

  מתאים לתרגום מהיר וזול של פידבקים קצרים או ביקורות מגרמנית לאנגלית.

• פייפליין מקדים לניתוח תוכן

  מאפשר לתרגם טקסטים מגרמנית לפני שמזינים אותם למודלי שפה שמבינים רק אנגלית.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים, כך שאי אפשר לזרוק עליו מסמכים שלמים בלי לחתוך אותם לפסקאות קודם. הוא גם מתרגם בכיוון אחד בלבד, מגרמנית לאנגלית, ולא יעזור לכם בכל צירוף שפות אחר.

ציוני ה־BLEU הנמוכים סביב 26 ו־27 בחלק ממבחני החדשות מעידים על כך שבטקסטים עיתונאיים, משפטיים או טכניים מורכבים הוא עלול לתרגם בצורה עילגת או לאבד ניואנסים חשובים.

איך מריצים

המודל שוקל 1.1 ג'יגה בייט ורץ דרך ספריית transformers הרגילה של פייתון. בגלל הגודל הזעיר וחלון של 512 טוקנים, אין שום צורך במעבד גרפי כבד, והוא ירוץ בקלות ובמהירות גם על מעבד רגיל של שרת זול או מחשב מקומי.

אם אתם צריכים לתרגם כמויות גדולות של מידע רגיש שלא יכול לצאת מהרשת המקומית, עדיף להרים אותו עצמאית בכמה דקות. מנגד, אם כל מה שאתם צריכים זה תרגום מזדמן של כמה פסקאות ביום, כנראה שפשוט יותר להשתמש ב־API חיצוני של שירות ענן במקום לתחזק תהליך עצמאי.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-de-en")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• rust_model.ot535.9 MB
• tf_model.h5298.4 MB
• pytorch_model.bin297.9 MB
• vocab.json1.3 MB
• source.spm796.8 KB
• target.spm768.5 KB
• config.json1.4 KB
• README.md1.4 KB
• .gitattributes345 B
• generation_config.json293 B
• tokenizer_config.json42 B

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי מלא וחופשי. אתם יכולים לשלב אותו במוצר שלכם, לשנות אותו ולהפיץ אותו, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗