GPT
הוספת כלי
E

envit5-translation

קוד פתוח

VietAIopenrail2022-10-06

  • transformers
  • pytorch
  • tf
  • jax
  • t5

מודל תרגום ייעודי בין אנגלית לוייטנאמית בשני הכיוונים. מי שצריך לוקליזציה לשוק הזה מקבל כאן כלי ממוקד שאומן ישירות על מאגרי טקסט מקומיים.

  • 3.1 GBמשקל הקבצים
  • 7,353הורדות בחודש
  • 48לייקים

מה זה

מדובר במודל שמבוסס על ארכיטקטורת T5 ומתמקד אך ורק בתרגום בין אנגלית לוייטנאמית. במקום לקחת מודל ענק שמנסה לעשות הכל בינוני במאה שפות, VietAI אימנו אותו על שני מאגרי נתונים מוכרים בתחום, MTet ו־PhoMT, כדי לתת מענה ספציפי לצמד השפות הזה.

לפי כרטיס המודל הוא נבדק מול מבחני ביצועים מקובלים כמו IWSLT2015 ו־PhoMT, ומציג תוצאות שמציבות אותו ברף העליון למשימה הזו. זה אומר שהוא מתמודד עם מבנים תחביריים מורכבים בוייטנאמית טוב יותר ממודלים כלליים שלא ראו מספיק דאטה איכותי מהאזור.

מתאים ל

  • תרגום ממשקים לוייטנאמית

    הוא אומן על דאטה ייעודי לצמד השפות הזה ומתאים ללוקליזציה של אפליקציות מאנגלית.

  • עיבוד מסמכים בארגון

    הוא רץ מקומית בלי חיבור לרשת, מה שמתאים למידע פנים שאי אפשר להוציא ל־API חיצוני.

  • תרגום שיחות תמיכה

    משקל של 3.1 גיגה בייט מאפשר לו לתת מענה מהיר להודעות טקסט נכנסות בשני הכיוונים.

איפה זה נופל

הוא לא יודע שום שפה חוץ מאנגלית ווייטנאמית, כך שאין מה לנסות להכניס לו עברית. מעבר לזה, הכרטיס לא מפרט אילו סוגי טקסטים קשים לו או באילו תחומים הוא נוטה להזות, ולכן חובה לבדוק אותו על דוגמאות אמיתיות מהמוצר שלכם, במיוחד במונחים טכניים או סלנג מקומי, לפני שמשחררים אותו למשתמשים.

שאלות
נפוצות

האם הוא מסוגל לתרגם ישירות מעברית לוייטנאמית?

לא. המודל תומך באנגלית ובוייטנאמית בלבד. כדי להשתמש בו עם עברית תצטרכו לתרגם קודם לאנגלית עם מודל אחר, מה שעלול לפגוע בדיוק של התוצאה.

האם אפשר להריץ אותו על שרת ללא כרטיס מסך?

כן, בגלל שמדובר במודל ששוקל 3.1 גיגה בייט אפשר להריץ אותו על מעבד רגיל עם מספיק זיכרון ראם. עם זאת, זמני התגובה יהיו איטיים משמעותית בהשוואה לריצה על מאיץ גרפי ייעודי.

איך מריצים

המשקל הכולל של הקבצים עומד על 3.1 גיגה בייט בדיוק של float32, כך שתוכלו לטעון אותו ישירות דרך ספריית transformers בלי להסתבך. כל כרטיס מסך בסיסי עם 8 עד 12 גיגה בייט זיכרון יחזיק אותו בקלות בריצה מקומית, ואפילו על מעבד סביר אפשר לחלץ ממנו קצב עבודה הגיוני אם לא מדובר בעומס חריג.

אם כל מה שאתם צריכים זה לתרגם כמה פסקאות פעם בשבוע, כנראה שעדיף לשלם גרושים ל־API של שירות ענן ולחסוך את התחזוקה. הרצה עצמית כאן משתלמת ברגע שיש לכם דאטה רגיש שלא יכול לצאת מהשרת, או נפח תרגום קבוע שמצדיק שרת ייעודי.

from transformers import pipeline

pipe = pipeline("translation", model="VietAI/envit5-translation")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון openrail. הרישיון הזה בדרך כלל מאפשר שימוש חופשי ומסחרי, אבל כולל הגבלות שימוש ספציפיות שנועדו למנוע ניצול לרעה או פגיעה באנשים. צריך לקרוא את נוסח הרישיון המלא ולוודא שהמוצר שלכם עומד בכללי השימוש ההוגן לפני שאתם משלבים אותו בקוד מסחרי.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗