GPT
הוספת כלי
M

mbart-large-50-one-to-many-mmt

קוד פתוח

facebookרישיון לא דווח2022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • mbart

המודל מתרגם מאנגלית ל־49 שפות שונות, כולל עברית, בהרצה מקומית וללא תלות ברשת. הוא מתאים למי שמחפש מנוע תרגום ייעודי וממוקד במקום להחזיק מודל שפה ענק.

  • 1,024טוקנים בהקשר
  • 6.8 GBמשקל הקבצים
  • 179,321הורדות בחודש
  • 39לייקים

מה זה

מדובר בגרסה מכווננת של mBART-large-50 שפותחה על ידי פייסבוק במיוחד עבור תרגום מכונה רב-לשוני מכיוון אחד בלבד: מאנגלית לכל שאר השפות הנתמכות. ברשימת השפות תוכלו למצוא בין היתר עברית, ערבית, רוסית, גרמנית, ספרדית, יפנית ועוד עשרות שפות מאירופה, אסיה ואפריקה.

בניגוד למודלי שיחה רחבים שמנסים לעשות הכול ולעיתים מסתבכים בהוראות, כאן הארכיטקטורה מבוססת MBartForConditionalGeneration ועושה משימה אחת בצורה ישירה. כדי לקבל תרגום לשפת יעד, אתם פשוט מגדירים מזהה שפה ספציפי כטוקן הראשון שנוצר בריצה, והרשת מייצרת את הטקסט המתורגם. הוא לא מנסה לנחש המשכים או להמציא תשובות, אלא נשאר צמוד למקור האנגלי.

מתאים ל

  • לוקליזציה של תוכנה מאנגלית

    תרגום מחרוזות ממשק, כפתורים והודעות מערכת מאנגלית ישירות לעברית ולעשרות שפות במקביל.

  • תרגום מאמרים וחדשות

    המרת פסקאות תוכן כתובות באנגלית לשפות יעד שונות בעבודה מול שרת מקומי.

  • תרגום מיילים ותמיכה טכנית

    מענה באנגלית שמתורגם אוטומטית לשפת הלקוח לפי מזהה השפה שהוגדר.

איפה זה נופל

המגבלה הכי קריטית כאן היא כיוון התרגום: הוא יודע לתרגם אך ורק מאנגלית לשפות אחרות, ולא להפך או בין שפות זרות. בנוסף, חלון ההקשר מוגבל ל־1,024 טוקנים, מה שאומר שהוא לא מיועד למסמכים ארוכים ברצף ותצטרכו לחתוך טקסטים לפסקאות לפני השליחה.

שאלות
נפוצות

האם המודל יודע לתרגם מעברית לאנגלית?

לא, המודל הזה אומן לעבוד בכיוון אחד בלבד, מאנגלית ל־49 שפות אחרות. כדי לתרגם מעברית לאנגלית תצטרכו לחפש גרסה אחרת של mBART שמיועדת לכיוון ההפוך או מודל רב-כיווני.

איך בוחרים לאיזו שפה לתרגם את הטקסט?

בזמן הקריאה למתודת generate מעבירים את המזהה הייעודי של השפה, למשל he_IL עבור עברית, בפרמטר forced_bos_token_id. המודל מזהה את הטוקן הזה בתחילת הפלט ומתרגם את האנגלית ישירות לשפה המבוקשת.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־6.8 גיגה-בייט, כך שתצטרכו כרטיס מסך עם לפחות 8 עד 12 גיגה זיכרון כדי לטעון ולהריץ אותו באופן יציב עם transformers. אפשר להריץ אותו גם על מעבד רגיל, אבל קצב התרגום ייפול משמעותית.

בקוד הריצה חשוב להעביר את הפרמטר forced_bos_token_id לפונקציית הייצור כדי לקבוע את שפת היעד. אם יש לכם שרת ייעודי וצורך בפרטיות מידע מוחלטת, שווה להרים אותו לבד. אם אתם מתרגמים רק שורות בודדות פעם ביום, שירות חיצוני חוסך את תחזוקת הברזלים.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/mbart-large-50-one-to-many-mmt")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 6.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בכרטיס המודל לא דווח רישיון כלל. מבחינה משפטית, היעדר רישיון מפורש אומר שאין היתר שימוש ברור, במיוחד לא בסביבה מסחרית או במוצר פרודקשן. לפני שמטמיעים אותו בקוד עסקי, חובה לברר את תנאי המקור של פייסבוק.

הרישיון המלא בעמוד המודל ↗