opus-mt-tr-en

מה זה

מדובר במודל תרגום ייעודי מטורקית לאנגלית שמבוסס על ארכיטקטורת MarianMT וכולל שש שכבות בלבד. במקום להעמיס מודל שפה ענק שיודע לעשות הכל, מקבלים כאן כלי ממוקד שעושה פעולה אחת בלבד, ורץ על ספריית transformers הסטנדרטית בלי התאמות מיוחדות.

התוצאות שלו מראות פער ברור בין סוגי הטקסט. במבחן Tatoeba שבודק משפטים קצרים ופשוטים הוא מגיע לציון BLEU של 63.5, שזה תרגום מדויק מאוד. לעומת זאת, במבחני חדשות כמו newstest2016 עד 2018 הציונים נעים בין 24.7 ל־27.6, מה שאומר שבטקסט מורכב עם תחביר עיתונאי הוא מייצר תרגום סביר להבנה כללית, אבל רחוק מלהיות מושלם.

מתאים ל

• תרגום הודעות ופוסטים

  מצוין למשפטים קצרים כמו ציוצים או תגובות ברשת, שם הביצועים שלו גבוהים במיוחד.

• עיבוד נתונים בנפח גדול

  מאפשר לתרגם מיליוני שורות מטבלאות ומאגרי מידע בטורקית לאנגלית במהירות ובעלות אפסית.

• סינון תוכן אוטומטי

  מעביר טקסט לאנגלית כדי להזין אותו למערכות ניתוח קיימות שלא תומכות בטורקית.

איפה זה נופל

הבעיה העיקרית כאן היא אורך הטקסט. חלון ההקשר מוגבל ל־512 טוקנים, ולכן הוא לא מתאים למסמכים שלמים בלי שתפרקו אותם לפסקאות קטנות מראש. מעבר לזה, ציוני ה־BLEU הנמוכים בטקסטים חדשותיים מעידים שהוא מתקשה עם שפה עשירה, סלנג מודרני או ביטויים מקצועיים, כך שחייבים לבדוק את הפלט ידנית לפני שסומכים עליו מול לקוחות.

איך מריצים

המשקל הכולל של הקבצים הוא 589 מגה בייט, כך שאפשר להריץ אותו ישירות על מעבד רגיל בכל שרת פשוט או אפילו במחשב פיתוח, בלי צורך בכרטיס מסך ייעודי. טוענים אותו דרך transformers ישירות לקוד פייתון ומקבלים תרגום מקומי שלא תלוי באף גורם חיצוני.

אם אתם צריכים לתרגם כמה משפטים פעם ביום, שירות ענן חיצוני של חברות גדולות יחסוך לכם תחזוקה. אבל אם יש לכם זרם קבוע של מידע בטורקית ואתם לא רוצים לשלם על כל קריאה, להרים אותו עצמאית זה עניין של דקות ספורות.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tr-en")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 589 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5307.2 MB
• pytorch_model.bin306.7 MB
• vocab.json1.6 MB
• source.spm839.8 KB
• target.spm796.6 KB
• config.json1.4 KB
• README.md997 B
• .gitattributes345 B
• generation_config.json293 B
• tokenizer_config.json42 B

הרישיון

הוא מופץ תחת רישיון apache-2.0, שנותן חופש כמעט מוחלט. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, להריץ אותו בשרתים פרטיים או להפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗