t5_translate_en_ru_zh_small_1024
קוד פתוחutrobinmvapache-2.02024-01-07
מודל תרגום קומפקטי שמיועד ספציפית למעבר ישיר בין אנגלית, רוסית וסינית בלי תחנות ביניים. הוא תופס מעט מאוד זיכרון ומתאים לריצה מקומית בלי שרתים כבדים.
- 111Mפרמטרים
- 213 MBמשקל הקבצים
- 19,454הורדות בחודש
- 42לייקים
מה זה
מדובר בגרסת T5 קטנה של 111 מיליון פרמטרים שאומנה לבצע משימה מוגדרת: תרגום ישיר בין שלושת צמדי השפות רוסית, סינית ואנגלית בכל כיוון אפשרי. במקום להשתמש במודל ענק שיודע לעשות הכל אבל שוקל עשרות ג'יגה, כאן מקבלים קובץ ממוקד של 213 מגה בייט שעושה רק תרגום.
הפעלה שלו מתבססת על תחילית קבועה של שפת היעד, למשל translate to zh או translate to ru. אין צורך לציין מאיזו שפה מתרגמים, והמפתח מציין שהטקסט הנכנס יכול להיות אפילו מעורבב מכמה שפות. הכרטיס לא כולל ציוני בליי או מבחני הערכה רשמיים, כך שאי אפשר לדעת מה המספרים המדויקים של איכות הפלט בלי לבדוק אותו עצמאית על הדאטה שלכם.
מתאים ל
- תרגום פנימי ללא רשת
המשקל הקטן מאפשר להריץ אותו ישירות על מחשב מקומי לעיבוד טקסטים בין אנגלית, רוסית וסינית בלי להוציא מידע החוצה.
- שילוב באפליקציות קצה
הוא שוקל רק 213 מגה בייט ונכנס בקלות לחבילות הפצה של תוכנות שולחניות שדורשות תרגום בסיסי בלי חיבור לשרת.
- צינורות נתונים קלים
מתאים לעיבוד מקדים של תכנים רב לשוניים בשלוש השפות הנתמכות בתוך סקריפטים שרצים על מעבד רגיל.
איפה זה נופל
החיסרון המרכזי כאן הוא היעדר מוחלט של נתוני איכות או מדדים בכרטיס המודל. אין ציוני בנצ'מרק, אין השוואות ואין פירוט על איזה דאטה הוא אומן. בגודל של 111 מיליון פרמטרים, מודלי תרגום נוטים לפספס הקשרים דקים, ביטויים סלנגיים ומבנים תחביריים מורכבים, במיוחד בשפות שונות לגמרי כמו סינית ורוסית. חובה לבדוק אותו על טקסטים אמיתיים לפני שמחברים אותו למשהו חשוב. בנוסף, עברית לא נתמכת כאן בכלל.
שאלות
נפוצות
האם המודל תומך בתרגום לעברית או מעברית?
לא. המודל אומן אך ורק על רוסית, סינית ואנגלית. הוא לא מזהה עברית ולא מסוגל לפלוט טקסט בעברית.
האם חייבים GPU בשביל להריץ אותו בפרודקשן?
ממש לא. בגלל שמדובר ב־111 מיליון פרמטרים בלבד, אפשר להריץ אותו ישירות על מעבד רגיל במהירות סבירה מאוד, תלוי בעומס הבקשות שיש לכם.
איך מריצים
טוענים אותו ישירות דרך ספריית transformers עם T5ForConditionalGeneration וטוקנייזר מתאים. כל העסק שוקל 213 מגה בייט, מה שאומר שהוא רץ בלי בעיה על מעבד רגיל של לפטופ פשוט ולא דורש שום כרטיס מסך ייעודי.
אם אתם צריכים תרגום שוטף במכשיר קצה, באפליקציית דסקטופ מקומית או בתוך קונטיינר קטן בלי אינטרנט, שווה להרים אותו לבד. אם אתם בונים מערכת שמתרגמת מיליוני פסקאות ביום וצריכים מהירות שיא עם ניהול תורים מורכב, פנייה לשרות תרגום ענן מוכן תחסוך לכם תחזוקת תשתית.
from transformers import pipeline
pipe = pipeline("translation", model="utrobinmv/t5_translate_en_ru_zh_small_1024")
print(pipe("שלום"))הקבצים
9 קבצים במאגר, 213 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא apache-2.0, שזה רישיון קוד פתוח מתירני מאוד. מותר להשתמש בו לצרכים מסחריים, לשלב אותו במוצר סגור, לשנות את המשקלים או להפיץ אותו מחדש. הדרישה העיקרית היא לשמור על הודעת זכויות היוצרים ונוסח הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים