GPT
O

opus-mt-fr-en

קוד פתוח

Helsinki-NLPapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • safetensors

תרגום פשוט ומהיר מצרפתית לאנגלית בלי לבזבז משאבים. מי שצריך לעבד כמויות של טקסט מקומי בלי לפנות לשרתים חיצוניים ימצא כאן פתרון קליל.

  • 75Mפרמטרים
  • 512טוקנים בהקשר
  • 1.1 GBמשקל הקבצים
  • 815,197הורדות בחודש

מה זה

מדובר במודל ייעודי לתרגום מצרפתית לאנגלית שמבוסס על ארכיטקטורת MarianMT וכולל כ־75 מיליון פרמטרים על פני 6 שכבות בלבד. הוא אומן על מאגר OPUS ומיועד למשימה אחת בלבד, בלי יכולות שיחה או יצירת טקסט כללי, מה שמאפשר לו להיות ממוקד ויעיל מאוד בגודל הזה.

במבחני ביצועים הוא מציג ציוני BLEU שנעים סביב 30 עד 38 על סטים של חדשות, ומגיע ל־57.5 במאגר Tatoeba שמכיל משפטים קצרים ופשוטים יחסית. הנתונים האלה מראים שהוא מתמודד מצוין עם מבנים ברורים ויומיומיים, אבל יתקשה לשמור על דיוק כשמדובר בטקסטים מורכבים במיוחד.

מתאים ל

  • תרגום תגובות ומשובים

    מעבד במהירות טקסטים קצרים ממשתמשים דוברי צרפתית כדי שצוות באנגלית יוכל לקרוא אותם מיד.

  • הכנת נתונים לאימון

    תרגום כמויות גדולות של מידע היסטורי מצרפתית לאנגלית בלי עלויות ענן שוטפות.

  • עיבוד מסמכים מקומי

    עובד במחשב פנימי ומבודד מרשת חיצונית, מה שמבטיח שהמידע לא יוצא החוצה.

איפה זה נופל

חלון ההקשר עומד על 512 טוקנים בלבד, כך שאי אפשר להזין מסמכים שלמים במכה אלא חייבים לחתוך את הטקסט למקטעים. מעבר לזה, המודל מתרגם רק בכיוון אחד, מצרפתית לאנגלית, ואין לו שום תמיכה בעברית או בשפות אחרות. הציונים הנמוכים יותר בטקסטים חדשותיים מראים שהוא עלול לפספס סלנג, שמות מורכבים או הקשר רחב.

שאלות
נפוצות

האם אפשר להשתמש בו כדי לתרגם מעברית לצרפתית?

לא. המודל אומן אך ורק לתרגום מצרפתית לאנגלית. הוא לא מזהה עברית בכלל ולא מסוגל לתרגם בכיוון ההפוך.

איזה מחשב צריך כדי להריץ אותו בקצב טוב?

בגלל שיש לו רק 75 מיליון פרמטרים, כל מחשב פיתוח ממוצע עם מעבד מודרני מריץ אותו בקלות בלי להרגיש עומס. כרטיס מסך יכול להאיץ את העבודה אם מעבדים מיליוני שורות, אבל לרוב השימושים אין בו צורך.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers בפייתון כמודל מסוג MarianMTModel. עם משקל של 1.1 גיגה בייט בלבד, אין שום צורך בכרטיס מסך ייעודי כדי להריץ אותו, ומעבד רגיל יספיק לחלוטין לקצב עבודה שוטף.

אם אתם צריכים לתרגם פסקאות בודדות פעם ביום, שירות ענן חיצוני כנראה יהיה מהיר יותר להקמה. לעומת זאת, כשיש לכם מאות אלפי שורות מקומיות ודרישה לפרטיות מלאה, הרצה עצמית שלו היא הבחירה הנכונה.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en")
print(pipe("שלום"))

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי חופשי לחלוטין. אתם יכולים לשלב אותו במוצר, לשנות את הקוד ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים ומציינים את השינויים שביצעתם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗