opus-mt-tc-big-en-tr

מה זה

מדובר במודל תרגום מכונה ממשפחת MarianMT שאומן על מאגרי OPUS ופרויקט Tatoeba. הוא עושה עבודה אחת בלבד, לקבל טקסט באנגלית ולהחזיר אותו בטורקית, כשהוא מתבסס על ארכיטקטורת שנאי גדולה יותר מהגרסאות הבסיסיות של הפרויקט, עם 6 שכבות ודיוק של float16.

במבחני BLEU הוא מציג תוצאות מעורבות שתלויות בסוג הטקסט. במשפטים קצרים ויומיומיים ממאגר tatoeba הוא מגיע לציון גבוה של 42.3, אבל במבחני חדשות כמו newstest2016 עד 2018 הציון צונח לאזור ה־21 עד 25. זה אומר שהוא מתמודד סביר עם מבנים שגרתיים, אבל יתקשה לשמור על דיוק בניסוחים מורכבים ועמוסי הקשר עיתונאי.

מתאים ל

• לוקליזציה של ממשקים

  תרגום שורות קצרות באנגלית לטורקית בתוך מערכות פנימיות, בלי תלות בחיבור לרשת חיצונית.

• עיבוד תגובות ותמיכה

  המרת הודעות ופניות של לקוחות באנגלית לטורקית לצורך ניתוב מהיר ומקומי.

• תרגום מקדים למאגרי מידע

  הזנת טקסטים קצרים בתהליכי batch בלי לשלם על עלויות API לכל טוקן.

איפה זה נופל

הוא מוגבל לתרגום חד-כיווני מאנגלית לטורקית, כך שהוא לא יעזור לתרגום הפוך ולא יודע מילה בעברית. חלון ההקשר מגיע ל־1,024 טוקנים, ולכן הוא לא מתאים למסמכים שלמים ברצף בלי לחתוך אותם קודם לפסקאות או משפטים. ירידת הציונים בטקסטים חדשותיים מראה שהוא נוטה לפספס במשפטים מפותלים, אז תצטרכו לבדוק את התחביר הטורקי לפני שמשלבים אותו בממשק שפונה למשתמשי קצה.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers בפייתון באמצעות MarianMTModel או pipeline ייעודי. עם משקל של 1.3 ג'יגה בייט על הדיסק, הוא לא דורש שרת כבד ורץ בלי בעיה על מעבד רגיל, אם כי כרטיס מסך בסיסי ייתן לכם זמני תגובה טובים בהרבה לעיבוד כמויות.

אם אתם צריכים תרגום אצווה מקומי בלי לשלוח מידע החוצה, אין סיבה לשלם על API חיצוני. במקרים שבהם נדרש תרגום מורכב של מאמרים טכניים או ספרותיים, מודלים מסחריים מבוססי ענן כנראה יתנו תוצאה קריאה ומדויקת יותר.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-en-tr")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5948.3 MB
• pytorch_model.bin469.8 MB
• benchmark_translations.zip2.9 MB
• vocab.json1.5 MB
• target.spm833.4 KB
• source.spm797.0 KB
• README.md7.2 KB
• .gitattributes1.3 KB
• config.json1.1 KB
• benchmark_results.txt448 B
• tokenizer_config.json337 B
• generation_config.json301 B
• special_tokens_map.json65 B

הרישיון

הוא מופץ תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של המשקלים והפצה במוצר שלכם. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים, Helsinki-NLP, וציון הקישור לרישיון ולפרסומים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗