Mistral-Small-Instruct-2409

מה זה

מדובר במודל שפה של 22 מיליארד פרמטרים שעבר התאמה להוראות וכולל תמיכה מובנית בשימוש בכלים ובקריאת פונקציות. המפרט הטכני כולל 56 שכבות, חלון הקשר של 32,768 טוקנים וגודל מילון זהה של 32,768 ערכים, כאשר הייצוג המקורי נשמר בדיוק של bfloat16 על פני 21 קבצים.

הגודל הזה יושב בדיוק בין מודלי שבעה או שמונה מיליארד, שלעיתים קרובות מתקשים בלוגיקה מורכבת ובהפעלת כלים, לבין מודלי ענק שדורשים שרתים ייעודיים עצומים. רשימת השפות הרשמית כוללת שמונה שפות אירופאיות ואסייתיות כמו אנגלית, צרפתית, סינית ויפנית, אך עברית אינה מופיעה בהגדרה הרשמית של המודל.

מתאים ל

• הפעלת פונקציות וכלים

  תמיכה מובנית בחלוקת משימות לקריאות API ואינטגרציות חיצוניות.

• עיבוד טקסטים ארוכים

  חלון של 32 אלף טוקנים מאפשר לקרוא מסמכים שלמים בלי לקטוע באמצע.

• שרת הסקה פנימי

  מתאים לארגונים שמחזיקים שרת מרובה כרטיסים ורוצים ביצועים של 22B.

איפה זה נופל

הכרטיס לא מציג ציוני מדידה רשמיים, מה שמקשה להעריך את היכולות שלו מול מתחרים באותו סדר גודל בלי להריץ בדיקות עצמאיות מקיפות. מעבר לכך, עברית אינה ברשימת השפות הנתמכות, כך שכל עבודה בעברית דורשת בדיקה מוקדמת כדי לראות אם הוא בכלל מחזיר פלט קוהרנטי. נוסף לכך, הדרישה לזיכרון גרפי עצום של 44 גיגה בייט דורשת חומרה מקצועית יקרה גם עבור משימות פשוטות.

איך מריצים

כדי להעלות אותו בשרת ישירות מהמשקלים המקוריים צריך לפחות 44 גיגה בייט של זיכרון גרפי עבור מאיץ יחיד, או לחלק את העומס על שני כרטיסים באמצעות vLLM עם פרמטר מקביליות מתאים. ההרצה המומלצת לייצור היא מעל vLLM מגרסה 0.6.1.post1 ומעלה יחד עם תלויות של ספריית מיסטרל, כאשר קיימת גם אפשרות לבדיקות מהירות באמצעות כלי שורת הפקודה הייעודי של החברה.

אם אין לכם כרטיסי שרת עם זיכרון מספק כמו A100 או זוג כרטיסים מקבילים, הדרישה לזיכרון כה גדול הופכת את ההרצה העצמאית ליקרה ומסורבלת, ובמצב כזה פנייה לשירות מנוהל חוסכת את כאב הראש התשתיתי.

pip install -U huggingface_hub
hf download mistralai/Mistral-Small-Instruct-2409

הקבצים

21 קבצים במאגר, 82.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• consolidated.safetensors44.5 GB
• model-00005-of-00009.safetensors5.0 GB
• model-00008-of-00009.safetensors5.0 GB
• model-00002-of-00009.safetensors5.0 GB
• model-00009-of-00009.safetensors5.0 GB
• model-00003-of-00009.safetensors5.0 GB
• model-00006-of-00009.safetensors5.0 GB
• model-00004-of-00009.safetensors4.9 GB
• model-00007-of-00009.safetensors4.9 GB
• model-00001-of-00009.safetensors4.9 GB
• tokenizer.json2.0 MB
• tokenizer.model587.6 KB
• tokenizer.model.v3587.6 KB
• tokenizer_config.json140.9 KB
• model.safetensors.index.json41.8 KB
• README.md22.0 KB
• .gitattributes1.5 KB
• config.json620 B
• special_tokens_map.json437 B
• params.json241 B
• generation_config.json116 B

הרישיון

הרישיון מוגדר כמותאם אישית ולא כרישיון קוד פתוח סטנדרטי. המשמעות היא שחובה לקרוא היטב את תנאי השימוש המדויקים שצירפה החברה לפני שמשלבים אותו בפרויקט מסחרי, ולא להניח שהשימוש בו חופשי.

הרישיון המלא בעמוד המודל ↗