YandexGPT-5-Lite-8B-instruct
קוד פתוחyandexother2025-03-28
גרסת הוראות מבוססת Llama בנפח שמונה מיליארד פרמטרים שפותחה ביאנדקס. היא מיועדת בעיקר למי שצריך ביצועים גבוהים ברוסית לצד אנגלית בלי להסתמך על תשתית סגורה.
- 8Bפרמטרים
- 32,768טוקנים בהקשר
- 15.0 GBמשקל הקבצים
- 15,569הורדות בחודש
מה זה
מדובר במודל שפותח מאפס על בסיס משקלי פריטריין של יאנדקס, ללא משקלים של מודלים זרים, ועבר אימון יישור מלא עם שלבי SFT ו־RLHF. לפי יוצריו, המודל מתקרב מאוד לביצועים של מתחרים מוכרים כמו Llama 3.1 8B או Qwen 2.5 7B, ואף עוקף אותם בחלק מהמבחנים, בעיקר בכל מה שקשור לעובדות ותרבות רוסית.
הוא בנוי בארכיטקטורת Llama רגילה של 32 שכבות ומגיע עם חלון הקשר של 32,768 טוקנים. זה אומר שהוא מתאים לעיבוד טקסטים ארוכים יחסית, אך ההתמקדות הברורה שלו היא דו-לשונית, רוסית ואנגלית בלבד.
מתאים ל
- עיבוד טקסט ברוסית
הוא אומן במיוחד להכיר תרבות ועובדות מקומיות ועוקף מתחרים בגודל דומה.
- שרת מקומי ב־vLLM
רץ ביעילות על כרטיס מסך יחיד בזכות תאימות מלאה לספריות הרצה מודרניות.
- ניתוח מסמכים ארוכים
חלון הקשר של 32 אלף טוקנים מאפשר לקרוא ולסכם טקסטים מורכבים ברציפות.
איפה זה נופל
יש פה לא מעט מוזרויות שדורשות התאמה בקוד. הטוקניזציה דורשת החלפה ידנית של ירידות שורה לטוקן מיוחד של NL, ונוצר רווח בתחילת כל תגובה. בנוסף, תבנית הצ'אט אינה סטנדרטית ומצפה למחרוזת סיום ספציפית, מה שגורם להבדלים בהתנהגות בין הרצה אינטראקטיבית לבין קריאות קבועות. כמו כן, אין לו שום תמיכה מובנית בעברית לפי המפרט, כך שהוא לא מתאים לעיבוד שפה מקומית.
אותה משפחה
YandexGPT-5-Lite יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעברית?
הכרטיס מצהיר על תמיכה ברוסית ובאנגלית בלבד. לא כדאי לבנות עליו לעיבוד או יצירת תוכן בעברית.
מה נדרש כדי לקבל תוצאות מדויקות מהמודל?
צריך להקפיד על כללי הטוקניזציה הייחודיים שהמפתחים הגדירו. יש להמיר ירידות שורה למחרוזת NL ולהשתמש בתבנית השיחה המקורית כדי למנוע ירידה באיכות הפלט.
איך מריצים
הקבצים שוקלים 15 גיגה-בייט בפורמט float16, כך שתצטרכו כרטיס מסך בודד עם 16 עד 24 גיגה זיכרון כדי לטעון אותו ישירות דרך Transformers או vLLM. יאנדקס שחררו גם גרסאות מקוונטטות בפורמט GGUF בריפו נפרד, שמאפשרות להריץ אותו בקלות על מעבד רגיל או חומרה קלה דרך llama.cpp ו־ollama.
אם אתם לא רוצים לתחזק שרת ייעודי או להסתבך עם הגדרות טוקניזציה מיוחדות, קריאה לשירות ענן מנוהל תהיה פשוטה יותר מאשר לתפעל שרת עצמאי.
pip install -U huggingface_hub hf download yandex/YandexGPT-5-Lite-8B-instruct
הקבצים
13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- model-00002-of-00004.safetensors5.0 GB
- model-00001-of-00004.safetensors5.0 GB
- model-00003-of-00004.safetensors4.9 GB
- model-00004-of-00004.safetensors1.2 GB
- original_tokenizer/tokenizer.model2.6 MB
- tokenizer.model2.6 MB
- tokenizer_config.json191.9 KB
- model.safetensors.index.json23.9 KB
- LICENSE23.0 KB
- README.md5.3 KB
- .gitattributes1.5 KB
- config.json541 B
- generation_config.json114 B
הרישיון
הרישיון מוגדר כ־other, כלומר מדובר ברישיון מותאם אישית של יאנדקס ולא ברישיון קוד פתוח סטנדרטי כמו אפאצ'י או MIT. המשמעות היא שחובה לקרוא היטב את תנאי השימוש המצורפים כדי לבדוק הגבלות מסחריות והפצה לפני שמשלבים אותו במוצר.