Ministral-8B-Instruct-2410

מה זה

מיסטרל מציגים כאן מודל קומפקטי שמכוון להתחרות בלאמה 3.1 ובגמה 2 באותו סדר גודל. בבדיקות של כתיבת קוד כמו HumanEval הוא מציג 76.8 אחוז לעומת 67.1 של לאמה 3.1, ובמבחן המתמטיקה של GSM8K בגרסת הבסיס הוא מגיע ל־64.5 אחוז מול 42.2 של המתחרה. בנוסף, שילבו בו תמיכה מובנית בהפעלת פונקציות.

הוא מאומן על חלון הקשר של 128 אלף טוקנים עם ארכיטקטורת תשומת לב מדורגת ומשתמש בטוקנייזר V3 Tekken שמכיל 131 אלף מונחים. השפות הרשמיות הנתמכות כוללות אנגלית, צרפתית, גרמנית, ספרדית, איטלקית, פורטוגזית, סינית ויפנית. עברית לא מופיעה ברשימת השפות הנתמכות, ולכן כדאי לבדוק היטב איך הטוקנייזר מתמודד איתה לפני שמסתמכים עליו.

מתאים ל

• עוזר פיתוח מקומי

  תוצאה של 76.8 אחוז במבחן HumanEval הופכת אותו למדויק במיוחד ביצירת קוד.

• הפעלת פונקציות ואוטומציה

  הוא כולל תמיכה ייעודית לחיוג כלים ומגיע לתוצאה של 31.6 במבחן הפנימי.

• תרגום וניתוח שפות אירופיות

  אימון ייעודי על צרפתית, גרמנית וספרדית עם תוצאות MMLU גבוהות מהמתחרים.

איפה זה נופל

המגבלה הטכנית הבולטת ביותר כרגע היא שבספריית vLLM חלון ההקשר מוגבל בפועל ל־32,768 טוקנים במקום 128 אלף, מאחר שחסרה עדיין תמיכה בליבות תשומת לב מיוחדות לפגינציה. בנוסף, מי שירצה לבצע משימות הקשר ארוכות מאוד דרך כלי ההרצה של מיסטרל יגלה שדרוש כרטיס של 80 גיגה בייט כדי להתמודד עם זיכרון הקלט. חסרון נוסף לקורא המקומי הוא היעדר תמיכה רשמית בעברית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־29.9 גיגה בייט בפורמט bfloat16, וכדי להרים אותו על מאיץ יחיד צריך לפחות 24 גיגה בייט של זיכרון גרפי. כדי להריץ בשרת מומלץ להשתמש ב־vLLM מגרסה 0.6.4 ומעלה יחד עם mistral common, או לחלק את העומס על שני מאיצים בעזרת מקביליות טנזורים.

אם אין לכם כרטיס מקומי עם 24 גיגה בייט פנויים, או אם אתם צריכים את מלוא ההקשר של 128 אלף טוקנים שדורש משאבים כבדים בהרבה, עדיף לפנות לממשק מרוחק במקום לנסות לדחוס אותו לחומרה חלשה.

pip install -U huggingface_hub
hf download mistralai/Ministral-8B-Instruct-2410

הקבצים

16 קבצים במאגר, 29.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• consolidated.safetensors16.0 GB
• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00004-of-00004.safetensors1.1 GB
• tokenizer.json17.1 MB
• tekken.json14.8 MB
• passkey_example.json406.4 KB
• tokenizer_config.json181.3 KB
• README.md29.4 KB
• model.safetensors.index.json26.9 KB
• .gitattributes1.6 KB
• config.json1.4 KB
• special_tokens_map.json414 B
• params.json296 B
• generation_config.json116 B

הרישיון

הרישיון מוגדר כ־Mistral Research License ולא רישיון פתוח רגיל. מותר להשתמש בו למחקר ולניסויים, אבל אסור להכניס אותו ישירות למוצר מסחרי בלי לקבל ממיסטרל אישור ורישיון בתשלום. מי שבונה שירות ללקוחות יצטרך ליצור איתם קשר לפני ההשקה.

הרישיון המלא בעמוד המודל ↗