GPT
הוספת כלי
O

opus-mt-es-en

קוד פתוח

Helsinki-NLPapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • marian
  • text2text-generation

זה מודל קטן לתרגום ישיר מספרדית לאנגלית. הוא מתאים למי שרוצה תרגום מהיר ומקומי בלי לשלוח מידע לרשת ובלי לשלם לפי מילה.

  • 512טוקנים בהקשר
  • 599 MBמשקל הקבצים
  • 257,884הורדות בחודש
  • 81לייקים

מה זה

מדובר במודל ייעודי שמבוסס על ארכיטקטורת MarianMT עם שש שכבות בלבד. הוא עושה דבר אחד בלבד, קורא טקסט בספרדית ופולט אותו באנגלית. הוא לא כותב קוד, לא עונה לשאלות ולא מנהל שיחה, וזה בדיוק מה שמאפשר לו להישאר קל משקל.

במבחני התרגום הרשמיים התוצאות משתנות לפי סוג הטקסט. במבחן של טטואבה הוא מקבל ציון BLEU גבוה של 59.6, בעיקר כי מדובר במשפטים קצרים וברורים. במבחני חדשות ישנים יותר, מ־2008 עד 2013, הציונים נעים בין 27.9 ל־37.9. המספרים האלה מראים שככל שהמשפט מורכב יותר, התרגום יוצא פחות מדויק.

מתאים ל

  • תרגום הודעות ומשובים

    הוא מטפל מעולה בטקסטים קצרים ממשתמשים ומעביר תגובות מספרדית לאנגלית בזמן אמת.

  • עיבוד מקדים למידע פנימי

    הוא רץ מקומית על שרת שלכם, כך שמידע רגיש לא יוצא החוצה לאף צד שלישי.

  • תרגום מאגרי תוכן גדולים

    בגלל משקלו הנמוך אפשר להריץ מיליוני שורות על מעבד רגיל בלי לחשוב על חשבון API.

איפה זה נופל

הוא מוגבל לחלון הקשר של 512 טוקנים בלבד, כך שאי אפשר להזין לו מסמכים ארוכים ברצף וצריך לחתוך את הטקסט למשפטים. הוא גם עובד רק בכיוון אחד, מספרדית לאנגלית, ולא יודע לתרגם הפוך או לגעת בעברית. הירידה בציונים בטקסטים חדשותיים מעידה שהוא עלול להחמיץ משמעויות במשפטים מפותלים או בעגה מקצועית.

שאלות
נפוצות

האם המודל יודע לתרגם מאנגלית לספרדית?

לא. המודל הספציפי הזה אומן רק בכיוון של ספרדית כמקור ואנגלית כיעד. כדי לתרגם בכיוון ההפוך צריך להוריד מודל מקביל שיועד לכך.

האם הוא מתאים לתרגום מאמרים אקדמיים שלמים?

לא הייתי סומך עליו למסמכים כבדים בלי עריכה אנושית. חלון ההקשר שלו מוגבל ל־512 טוקנים, והביצועים שלו על טקסטים מורכבים נמוכים משמעותית מאשר על משפטים פשוטים.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון עם MarianMTModel וספרית SentencePiece. הקבצים שוקלים 599 מגה בייט בסך הכל, כך שלא צריך כרטיס מסך יקר. הוא רץ בלי בעיה על מעבד רגיל בכל שרת פשוט או מחשב נייד.

אם יש לכם כמות קטנה של טקסט פעם ביום, שירות חיצוני חוסך תחזוקה. אבל אם אתם צריכים לתרגם מאות אלפי שורות מקומית או בתוך צינור נתונים פרטי, החישוב על חומרה מקומית חוסך עלויות קריאה שוטפות.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-es-en")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 599 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהריץ אותו איפה שרוצים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗