YandexGPT-5-Lite-8B-pretrain
קוד פתוחyandexother2025-02-21
גרסת בסיס לא מאומנת להוראות שמיועדת בעיקר למי שצריך מודל חזק ברוסית ואנגלית ומחפש נקודת מוצא לכוונון עצמי. הוא כולל חלון הקשר של 32 אלף טוקנים וטוקנייזר מותאם.
- 8Bפרמטרים
- 32,768טוקנים בהקשר
- 15.0 GBמשקל הקבצים
- 295הורדות בחודש
מה זה
המודל עבר אימון ראשוני על 15 טריליון טוקנים ולאחר מכן שלב חיזוק נוסף של 320 מיליארד טוקנים עם דגש על מתמטיקה, קוד, ונתוני הדרכה. המידע כולל דפי רשת לצד מאגרים פנימיים של יאנדקס כמו תרגום ומאגרי עובדות מחיפוש. הוא מבוסס על ארכיטקטורת LlamaForCausalLM כך שהוא עובד ישירות עם כלי תשתית סטנדרטיים.
ההבדל המשמעותי לעומת מודלים אחרים בגודל 8B נמצא בטוקנייזר שלו. לפי המפתחים, הטוקנייזר דוחס טקסט ברוסית כך שחלון של 32 אלף טוקנים שווה בפועל לכארבעים ושמונה אלף טוקנים במודל מקביל כמו Qwen 2.5. זה מאפשר להכניס יותר טקסט רוסי בפחות משאבי זיכרון.
מתאים ל
- אימון מודל הוראות ברוסית
נקודת התחלה לכוונון LoRA עם torchtune עבור משימות שדורשות הבנה עמוקה של השפה הרוסית.
- עיבוד מסמכים רוסיים ארוכים
הטוקנייזר הדחוס מאפשר להכניס נפח גדול של טקסט רוסי לחלון של 32 אלף טוקנים.
- השלמת טקסט וקוד טכני
מתאים להשלמת רצפים בתוך מערכות פיתוח בזכות שלב אימון שכלל מתמטיקה וקוד ייעודי.
איפה זה נופל
זהו מודל Pretrain בלבד. הוא לא עבר התאמה לשיחה או מענה להוראות, ואם תזרקו עליו שאלה בצ'אט הוא פשוט ינסה להמשיך את המשפט במקום לענות. הוא לא מתאים לשימוש ישיר מול משתמשי קצה ללא אימון נוסף.
בנוסף, האימון התמקד ברוסית ובאנגלית בלבד. אין פה שום התאמה מתועדת לשפות אחרות או לעברית, ולכן ניסיון להשתמש בו לטקסטים מקומיים יוביל לפלט גרוע ולבזבוז טוקנים.
שאלות
נפוצות
אפשר להשתמש במודל הזה ישירות כבוט לצ'אט?
לא. מדובר במודל Pretrain שרק משלים טקסט ולא במודל שעבר Instruct או כוונון שיחה. אם תשאלו אותו שאלה, הוא ימשיך את הטקסט ולא יחזיר תשובה ישירה.
איך הכי כדאי לאמן אותו על נתונים פרטיים?
הוא נשען על ארכיטקטורת Llama, ולכן אפשר להוריד אותו ישירות דרך torchtune ולהריץ אימון LoRA על מעבד גרפי יחיד באמצעות קובצי הגדרה קיימים.
איך מריצים
כדי להריץ אותו צריך כרטיס מסך עם לפחות 16 עד 24 גיגה בייט של זיכרון וידאו, שכן משקל הקבצים לבדו תופס 15 גיגה בייט בדיוק של bfloat16. מריצים אותו ישירות עם Transformers או vLLM על GPU יחיד, כאשר המפתחים ממליצים להשתמש במימוש המקורי של sentencepiece כדי למנוע סטיות בטוקניזציה.
אם הכוונה היא רק לשלוח שאילתות ולקבל תשובות מוכנות, אין היגיון להריץ אותו עצמאית. זהו מודל פריטריין שמשלים טקסט ולא עונה להנחיות, ולכן מריצים אותו מקומית רק אם רוצים לאמן עליו LoRA דרך torchtune או להמשיך אימון תחת חומרה ייעודית.
pip install -U huggingface_hub hf download yandex/YandexGPT-5-Lite-8B-pretrain
הקבצים
11 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כ־other ולא כרישיון קוד פתוח מוכר כמו Apache או MIT. המשמעות היא שחובה לבדוק את תנאי השימוש הספציפיים שצורפו אליו לפני שמשלבים אותו במוצר מסחרי או מפיצים שירות שמבוסס עליו.