sarvam-translate

מה זה

מדובר במודל שמבוסס על Gemma 3 בנפח 4.3 מיליארד פרמטרים, שנבנה בשיתוף פעולה בין Sarvam AI לבין AI4Bharat. המטרה שלו ברורה מאוד, תרגום ברמת מסמך בין אנגלית לבין שפות הודו, תחום שבו מודלים כלליים נוטים להתרסק או לאבד הקשר תרבותי ותחבירי.

הייחוד כאן הוא היכולת לבלוע מסמכים שלמים, כולל מאמרים מדעיים, ספרי לימוד ועמודי אינטרנט, בלי לאבד את המבנה. המודל מתמודד עם קבצי מרקדאון, שגיאות OCR, נוסחאות מתמטיות וכימיות, ואפילו קבצי קוד שבהם הוא מתרגם רק את ההערות ומשאיר את התחביר של התוכנה שלם.

מתאים ל

• לוקליזציה של קוד

  הוא מתרגם הערות והסברים בקבצי מקור בלי לגעת בתחביר התכנות עצמו.

• תרגום מסמכים מדעיים

  שומר על שלמות נוסחאות מתמטיקה וכימיה בתוך הטקסט המתורגם.

• המרת חומרי הדרכה ולימוד

  מעביר ספרי לימוד ומאמרים שלמים מאנגלית לשפות מקומיות בהודו.

איפה זה נופל

המודל הזה לא יודע עברית ולא מיועד אליה כלל. מעבר לזה, נקודת התורפה הגדולה שלו היא תרגום ישיר בין שפה הודית אחת לשנייה. המודל הפתוח תומך אך ורק בתרגום מאנגלית לשפות הודיות או להפך. מי שצריך לתרגם מהינדי לבנגלי, למשל, חייב לתרגם קודם לאנגלית ומשם לבנגלי, מה שמכפיל את זמן הריצה ועלול לשחוק את הדיוק.

איך מריצים

המשקל הכולל של הקבצים עומד על 8 גיגה בייט בדיוק bfloat16, מה שאומר שאפשר להריץ אותו בקלות על כרטיס מסך ביתי יחיד עם 16 גיגה זיכרון, או על שרת ענן פשוט. הפריסה מומלצת באמצעות vLLM עם הגבלת אורך הקשר של 8192 טוקנים, והממשק נתמך בספריית transformers הרגילה.

אם יש לכם תעבורה נמוכה ואין לכם כוח לנהל תשתית, Sarvam מציעים API משלהם בענן. ההרצה העצמית משתלמת ברגע שמתחילים להזרים כמויות גדולות של מידע רגיש או מסמכים טכניים שלא רוצים להוציא החוצה.

from transformers import pipeline

pipe = pipeline("translation", model="sarvamai/sarvam-translate")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 8.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors3.6 GB
• tokenizer.json33.4 MB
• tokenizer.model4.7 MB
• tokenizer_config.json1.2 MB
• model.safetensors.index.json90.6 KB
• LICENSE.txt35.1 KB
• README.md5.1 KB
• config.json1.6 KB
• .gitattributes1.6 KB
• chat_template.jinja1.5 KB
• special_tokens_map.json662 B
• preprocessor_config.json570 B
• generation_config.json210 B
• processor_config.json70 B
• added_tokens.json35 B

הרישיון

המודל מופץ תחת רישיון gpl-3.0. מדובר ברישיון קוד פתוח מדבק, שמחייב אתכם לשחרר את קוד המקור של המוצר שלכם תחת אותו רישיון בדיוק אם אתם מפיצים אותו. לשימוש פנימי בחברה או כשרת אחורי סגור זה פחות בעייתי, אבל אם אתם מתכננים לשלב אותו בתוך תוכנת מדף מסחרית, יש כאן סיכון משפטי ברור.

הרישיון המלא בעמוד המודל ↗