GPT
הוספת כלי
L

Llama2-13b-Language-translate

קוד פתוח

SnypzZzרישיון לא דווח2023-10-04

  • transformers
  • pytorch
  • tf
  • jax
  • mbart

מודל תרגום מאנגלית לחמישים שפות, כולל עברית. הוא מיועד למי שמחפש פתרון נקודתי לתרגום טקסטים קצרים בלי להחזיק מודל ענק.

  • 1,024טוקנים בהקשר
  • 6.8 GBמשקל הקבצים
  • 219הורדות בחודש
  • 127לייקים

מה זה

למרות השם שמזכיר את לאמה, מדובר בארכיטקטורת mBART עם 12 שכבות שמכוונת למשימה אחת בלבד, תרגום מאנגלית לשפות אחרות. הכרטיס מציג שילוב מוזר בין אזכור של Llama 2 לבין מודל mBART 50 מוכר, כך שבפועל אתם מקבלים כלי שמתמקד בריצה מובנית של תרגום one to many ולא מודל שיחה כללי.

המודל תומך בחמישים שפות יעד שונות, כולל עברית, ערבית ורוסית. כדי לקבל תרגום תקין חייבים להגדיר לו ידנית את מזהה שפת היעד כטוקן הפותח בזמן היצירה, אחרת הפלט לא יהיה צפוי.

מתאים ל

  • תרגום ממשקים לעברית

    מתאים להמרת מחרוזות קצרות באנגלית לשפות יעד שונות כולל עברית, בזכות חלון קשר קטן שמתאים למילים ומשפטים בודדים.

  • לוקליזציה פנימית

    תרגום טקסטים מאנגלית בלי להוציא מידע רגיש לשרתים חיצוניים, על חומרה מקומית צנועה עם כרטיס מסך פשוט.

  • עיבוד מקדים לפסקאות

    תרגום קטעי תוכן קצרים מאנגלית במערכות אוטומטיות שדורשות ריצה מקומית ומהירה דרך ספריית transformers.

איפה זה נופל

הבעיה הבולטת היא חלון הקשר של 1,024 טוקנים בלבד, מה שפוסל אותו לחלוטין לתרגום מסמכים ארוכים ברצף ומחייב אתכם לחתוך טקסטים לפסקאות קטנות. מעבר לזה, המודל עובד רק בכיוון אחד, מאנגלית לשפות היעד, כך שאי אפשר לתרגם איתו מעברית לאנגלית.

יש גם סתירה מבלבלת בתיעוד בין הכותרות שמזכירות GGML ולאמה לבין הארכיטקטורה בפועל שהיא mBART, מה שדורש בדיקה זהירה של המשקולות לפני שמחברים אותו לקוד קיים.

שאלות
נפוצות

האם אפשר לתרגם בעזרת המודל מעברית לאנגלית?

לא. המודל בנוי במבנה של one to many ומתרגם רק משפת מקור אחת שהיא אנגלית אל חמישים שפות יעד שונות, כולל עברית. אם תנסו להזין לו עברית תקבלו תוצאות לא תקינות.

זה מודל מסדרת Llama 2 או mBART?

הארכיטקטורה המוצהרת היא לחלוטין mBART עם 12 שכבות, למרות שהשם בעמוד מזכיר את Llama 2. מדובר במודל mBART 50 סטנדרטי לתרגום מכונה, ולא במודל שפה מבוסס Llama.

איך מגדירים לו לאיזו שפה לתרגם?

בזמן הקריאה לפונקציית generate בקוד, מעבירים את מזהה השפה הרצויה לתוך הפרמטר forced bos token id. בלי ההגדרה הזו המודל לא יידע לאיזו שפה לייצר את הפלט.

איך מריצים

המשקל הכולל יושב על 6.8 גיגה בייט שמחולקים לעשרה קבצים, מה שאומר שאפשר להריץ אותו על כרטיס מסך בודד עם 8 עד 12 גיגה זיכרון בלי מאמץ מיוחד. ההרצה נעשית דרך ספריית transformers הרגילה עם מחלקת MBartForConditionalGeneration.

אם אתם צריכים רק תרגומים בודדים פעם ביום, אין שום סיבה להחזיק שרת דלוק ולנהל קבצים בגודל כזה, עדיף להשתמש ב־API חיצוני. לעומת זאת, אם יש לכם נפח עבודה קבוע ואתם לא רוצים לשלוח טקסטים החוצה, הריצה המקומית פשוטה וזולה.

from transformers import pipeline

pipe = pipeline("text-generation", model="SnypzZz/Llama2-13b-Language-translate")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 6.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצר לא ציין רישיון בעמוד המודל. במצב כזה אין אישור שימוש ברור, לא לשימוש אישי ובטח שלא לשימוש מסחרי במוצר שלכם. כל עוד אין רישיון מוגדר, כל שילוב שלו במערכת חושף אתכם לסיכון משפטי.

הרישיון המלא בעמוד המודל ↗