Tower-Plus-9B

מה זה

הבסיס פה הוא ג'מה 2 בגודל 9.2 מיליארד פרמטרים, אבל אנבבל לקחו אותו לתהליך אימון נוסף שכלל המשך אימון מקדים, כוונון הוראות ואופטימיזציית העדפות עם דאטה מקבילי ב־22 שפות. השילוב הזה שומר על היכולת לענות על שאלות כלליות, לכתוב קוד ולבצע היסקים, אבל מתעדף באופן מובהק איכות תרגום.

במקום להסתפק בהבנה שטחית של שפות שאינן אנגלית, המודל אומן ספציפית על צמדי שפות מגוונים, כולל הבחנה בין פורטוגזית של פורטוגל לברזילאית ובין ספרדית אירופאית ללטינית. בנפח של פחות מעשרה מיליארד פרמטרים, הוא מכוון ישירות לחברות שרוצות מנוע תרגום עצמאי בלי לגרור משקלים של עשרות גיגה־בייט לכל שרת.

מתאים ל

• תרגום מכונה בין שפות אירופה

  אימון ייעודי על ניואנסים מקומיים כמו ספרדית לטינית לעומת אירופאית.

• ייצור דאטה סינתטי רב לשוני

  תרגום פרומפטים ותשובות או יצירת הוראות חדשות מתוך מסמכים בשפות נתמכות.

• מענה להוראות בשפות אסייתיות

  מעקב אחר הוראות וקוד ביפנית, קוריאנית או סינית על מודל מקומי קומפקטי.

איפה זה נופל

עברית בכלל לא מופיעה ברשימת השפות הנתמכות של המודל. הוא מכסה שפות אירופאיות רבות, רוסית, קוריאנית, סינית, יפנית והינדי, אבל מי שבונה עליו לטקסטים מקומיים יקבל תוצאות שבורות. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים, כך שהוא לא בנוי לתרגום של מסמכים שלמים בפעימה אחת.

איך מריצים

המשקל הכולל של הקבצים עומד על 17.3 גיגה בייט בפורמט bfloat16. כדי להריץ אותו כמו שצריך תצטרכו כרטיס מסך יחיד עם לפחות 24 גיגה זיכרון, כמו RTX 3090 או A10, במיוחד אם תרצו לנצל את חלון ההקשר המלא של 8,192 טוקנים.

המפתחים ממליצים במפורש להריץ אותו דרך vLLM ולא ישירות עם ספריית transformers הרגילה, תוך הגדרת משתני סביבה מתאימים לתמיכה באורך ההקשר. אם אתם צריכים רק תרגומים נקודתיים פעם בשעה, אין טעם להחזיק שרת כזה דלוק ועדיף לפנות לפתרונות ענן לפי קריאה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/Tower-Plus-9B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 17.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors3.7 GB
• tokenizer.json34.4 MB
• tokenizer.model4.2 MB
• Tower-plus-pareto.png213.6 KB
• tokenizer_config.json40.3 KB
• model.safetensors.index.json39.1 KB
• README.md3.9 KB
• .gitattributes1.6 KB
• config.json931 B
• special_tokens_map.json644 B
• generation_config.json170 B

הרישיון

הרישיון הוא לא מסחרי. מותר להשתמש במודל למחקר, בדיקות פנימיות וניסויים, אבל אסור לחלוטין לשלב אותו במוצר שמייצר הכנסה, למכור גישה אליו או להשתמש בו בפעילות עסקית שוטפת.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗