T-pro-it-1.0

קוד פתוח

t-techרישיון לא דווח2024-12-10

safetensors
qwen2
ru

גרסת 33 מיליארד פרמטרים מבוססת Qwen 2.5 שעברה אימון המשך אגרסיבי ברוסית. מתאימה למי שבונה מוצר לקהל דובר רוסית ורוצה מודל פתוח שמתחרה ישירות בביצועים של GPT-4o בשפה הזו.

33Bפרמטרים
32,768טוקנים בהקשר
61.0 GBמשקל הקבצים
141הורדות בחודש

מה זה

הבסיס כאן הוא Qwen 2.5 בגודל 33B שעבר אימון המשך רחב היקף של 140 מיליארד טוקנים, מתוכם 100 מיליארד של דאטה רוסי מגוון ודאטה באנגלית, לצד 40 מיליארד של הוראות וטקסט מעורב. בהמשך הוא עבר כיוונון עדין והתאמת העדפות של שני מיליארד טוקנים נוספים. המטרה ברורה, לקחת ארכיטקטורה חזקה ולהפוך אותה למותאמת לעבודה ברוסית בלי לאבד את היכולות הכלליות.

במבחני הביצועים ברוסית הוא מציג מספרים גבוהים מאוד. במבחן Arena-Hard-Ru הוא עוקף את GPT-4o עם ציון של 90.17 לעומת 84.87, ומנצח אותו גם במשימות מתמטיקה וקוד כמו ruGSM8K ו־ruMBPP. מול מודלים פתוחים אחרים, כולל מודל הבסיס של Qwen ו־Llama 3.3 70B, הוא מוביל כמעט בכל מדד רוסי שנבדק בכרטיס.

מתאים ל

בסיס לכיוונון לרוסית
נקודת מוצא מעולה לאימון מודל פנימי לארגונים שכל הדאטה והעבודה שלהם מתנהלים ברוסית.
עיבוד טקסט רוסי כבד
משימות סיווג, ניתוח מסמכים או חילוץ מידע ברוסית ברמת דיוק שמתחרה במודלים מסחריים סגורים.
יצירת קוד ומתמטיקה
מתאים לפתרון בעיות חישוביות וכתיבת סקריפטים עם הנחיות מורכבות שמנוסחות בשפה הרוסית.

איפה זה נופל

המפתחים מצהירים במפורש בראש העמוד שהמודל לא מיועד לשמש כעוזר שיחה מוכן לשימוש מהקופסה, אלא מהווה בסיס לכיוונון עדין נוסף. מי שמריץ אותו אחראי לבצע אימון המשך ובקרת בטיחות כדי שהפלט יעמוד בסטנדרטים אתיים. בנוסף, המודל אומן אך ורק עבור השפה הרוסית על בסיס אנגלית, כך שאין כאן שום תמיכה בעברית או התאמה למשימות מקומיות בישראל.

שאלות
נפוצות

האם המודל יודע לעבוד בעברית?

לא. המודל עבר אימון המשך מסיבי ברוסית על בסיס נתונים באנגלית בלבד. הוא אינו מיועד לעברית ולא נבדק בה, ולכן לא מתאים לפרויקטים מקומיים בישראל הדורשים הבנת עברית.

האם אפשר להשתמש בו ישירות כצ'אטבוט?

היוצרים מזהירים במפורש שלא. המודל יועד לעבור אימון המשך והתאמות בטיחות נוספות לפני שמחברים אותו למשתמשי קצה, ולא כדאי לחבר אותו ישירות לשירות פעיל ללא שכבת סינון ובקרה.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־61 גיגה בייט בפורמט bfloat16. כדי לטעון אותו כמו שהוא צריך שרת עם לפחות שני כרטיסי A100 או A10 של 80 גיגה, או לחלופין לכווץ אותו לקוונטיזציה של 4 ביט כדי לדחוס אותו לכרטיס בודד של 24 גיגה. המפתחים מציגים דוגמת קוד ישירה באמצעות ספריית vLLM עם max_model_len של 8192 טוקנים, אם כי המודל תומך עד 32,768 טוקנים.

אם אין לכם תשתית ענן ייעודית או צורך בריצה מקומית בגלל פרטיות נתונים, החזקת שרת כזה תעלה לא מעט כסף בכל חודש. במקרה כזה עדיף לשקול שימוש ב־API חיצוני של מודל מסחרי גדול, אלא אם הפרויקט חייב לרוץ על שרתים פרטיים.

pip install -U huggingface_hub
hf download t-tech/T-pro-it-1.0

הקבצים

24 קבצים במאגר, 61.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון לא דווח בעמוד המודל. מבחינה משפטית, היעדר רישיון אומר שאין לכם הרשאה מוגדרת להשתמש במשקולות, להפיץ אותן או להטמיע אותן במוצר מסחרי. לפני שמשקיעים משאבים בריצה שלו בסביבת ייצור, חובה לברר ישירות מול המפתחים מה תנאי השימוש החוקיים.

הרישיון המלא בעמוד המודל ↗