GPT
הוספת כלי
O

opus-mt-ar-en

קוד פתוח

Helsinki-NLPapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • rust
  • marian

מודל קל משקל שמתרגם מערבית לאנגלית בלבד, בלי שום יומרות אחרות. הוא עובד מקומית, מהר, ובלי עלויות ענן או תלות בספק חיצוני.

  • 512טוקנים בהקשר
  • 1.1 GBמשקל הקבצים
  • 149,976הורדות בחודש
  • 50לייקים

מה זה

מדובר במודל תרגום ייעודי המבוסס על ארכיטקטורת MarianMT עם 6 שכבות בלבד, שאומן ישירות על מאגר OPUS. הוא לא מודל שפה כללי שמנסה לפתור הכל, אלא רשת קטנה שעושה רק פעולה אחת: מקבלת טקסט בערבית ומחזירה אנגלית בעזרת טוקניזציה של SentencePiece.

במבחן הביצועים על מערך Tatoeba הוא קיבל ציון BLEU של 49.4 ומדד chr-F של 0.661. אלה תוצאות סבירות מאוד למשקל שלו, שמראות שהוא מסוגל להוציא משפטים קריאים וברורים, אבל לא הייתי בונה עליו לתרגום של שירה או טקסטים ספרותיים מורכבים.

מתאים ל

  • תרגום הודעות וצ'אטים

    הוא קל ומהיר, ומסוגל לעבד הודעות קצרות מערבית לאנגלית בזמן אמת בלי להעמיס על השרת.

  • עיבוד מידע וניטור רשת

    מתאים לצינורות נתונים שסורקים כמויות גדולות של טקסט בערבית ומתרגמים אותו מקומית בזול.

  • עבודה ללא חיבור רשת

    רץ מקומית על מעבד בסיסי, מה שמאפשר להפעיל אותו במערכות סגורות או מבודדות לגמרי.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים, כך שאי אפשר לזרוק אליו מסמכים ארוכים בבת אחת וחייבים לחתוך את הטקסט לפסקאות או משפטים. בנוסף, המודל אומן רק לכיוון אחד, מערבית לאנגלית, ואין לו שום תמיכה בעברית או בתרגום הפוך. הנתונים מבוססים על אימון משנת 2019, ולכן סלנג מודרני או מונחים טכניים חדשים עלולים לצאת עילגים.

שאלות
נפוצות

האם הוא מסוגל לתרגם מאנגלית לערבית או לעבוד עם עברית?

לא. המודל הזה אומן אך ורק בכיוון של ערבית למקור ואנגלית ליעד. הוא לא מזהה עברית, וניסיון להכניס לו שפות אחרות יחזיר פלט משובש לחלוטין.

האם חייבים GPU כדי להשתמש בו בפרודקשן?

ממש לא. בגלל שמדובר במודל של 6 שכבות ששוקל 1.1 גיגה בייט בלבד, מעבד מודרני ממוצע יכול להריץ אותו בקצב גבוה מאוד בלי שום צורך בכרטיס מסך ייעודי.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers של פייתון. עם משקל של 1.1 גיגה בייט בלבד, אתם לא צריכים שום כרטיס מסך מיוחד כדי להריץ אותו בפועל, והוא יעבוד חלק ובמהירות על מעבד רגיל בכל שרת פשוט או מחשב מקומי.

אם אתם צריכים לתרגם כמה משפטים פעם ביום, לקרוא לשירותי ענן של גוגל או OpenAI כנראה ידרוש פחות התעסקות בקוד. אבל ברגע שיש לכם נפח גבוה, דרישות פרטיות, או רצון לחסוך עלויות תשתית, להרים אותו עצמאית זה מהלך פשוט ומשתלם.

from transformers import pipeline

pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-ar-en")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שזה רישיון פתוח ומתירני לחלוטין. אתם יכולים להשתמש בו במוצרים מסחריים, לשנות אותו ולהפיץ אותו חופשי, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗