Mistral-Small-24B-Base-2501

מה זה

מדובר במודל גולמי של מיסטרל עם 23,572,403,200 פרמטרים, שנועד לשמש תשתית לעבודה מתקדמת ולא מענה ישיר לבקשות משתמש. במבחני ידע כללי כמו MMLU הוא מציג תוצאה של 80.73, ובמבחן ARC-c מגיע ל־91.29, נתונים שמראים שליטה חזקה בעובדות והבנה לוגית בסיסית יחסית לגודל כזה. במתמטיקה מורכבת הוא מתקשה יותר, עם 45.98 בלבד במבחן MATH.

הטוקנייזר שלו, Tekken, מגיע עם מילון של 131 אלף מונחים, מה שמייעל את העיבוד של שפות שונות. המבחנים בכרטיס מציגים תוצאות טובות בשפות אירופיות וגם ברוסית, יפנית וסינית, כך שיש לו בסיס רב-לשוני רחב עוד לפני שמתחילים לכוונן אותו.

מתאים ל

• אימון מודל לתחום מקצועי

  נקודת פתיחה של 24B פרמטרים עם ביצועים של 80.73 ב־MMLU שמתאימה למי שרוצה לאמן מודל משלו על מסמכים פנימיים.

• בניית מערכות בשפות אירופיות

  תוצאות של מעל 77 בצרפתית, גרמנית וספרדית הופכות אותו לבסיס חזק למערכות רב-לשוניות.

• משימות השלמת קוד ומבנה

  עם ציון של 69.64 ב־MBPP, אפשר להשתמש בו לאימון רכיבי השלמת קוד אוטומטיות בארגון.

איפה זה נופל

זהו מודל בסיס ולא מודל שיחה. אם תתנו לו פקודה ישירה הוא לא יידע לענות כמו עוזר אישי אלא ינסה להמשיך את הטקסט, ולכן אי אפשר להשתמש בו במוצר בלי לעשות קודם כוונון עדין. בנוסף, עברית כלל אינה מופיעה ברשימת השפות הנתמכות או בבנצ'מרקים, כך שחייבים לבדוק את ההבנה שלו בשפה לפני שמסתמכים עליו.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־87.8 גיגה-בייט בפורמט bfloat16 על פני 21 קבצים, כך שצריך כרטיסי מסך עם זיכרון משמעותי מאוד כדי לטעון אותו ישירות לזיכרון הגרפי בלי כימות. המודל נתמך רשמית בספריית vllm לצורך פריסה מהירה והגשת תשובות ביעילות גבוהה עם חלון הקשר של 32,768 טוקנים.

אם אתם לא מתכננים לאמן שכבות חדשות או לעשות לו כוונון עדין על דאטה פנימי, אין סיבה להחזיק שרתים יקרים עבורו. למי שרק רוצה לשאול שאלות ולקבל תשובות, עדיף להשתמש בגרסת ההוראות שלהם או לגשת למוצר דרך שירות ענן שמחייב לפי שימוש.

pip install -U huggingface_hub
hf download mistralai/Mistral-Small-24B-Base-2501

הקבצים

21 קבצים במאגר, 87.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• consolidated.safetensors47.1 GB
• model-00004-of-00010.safetensors4.9 GB
• model-00007-of-00010.safetensors4.9 GB
• model-00005-of-00010.safetensors4.8 GB
• model-00008-of-00010.safetensors4.8 GB
• model-00006-of-00010.safetensors4.8 GB
• model-00009-of-00010.safetensors4.8 GB
• model-00003-of-00010.safetensors4.8 GB
• model-00002-of-00010.safetensors4.8 GB
• model-00001-of-00010.safetensors4.8 GB
• model-00010-of-00010.safetensors3.9 GB
• tokenizer.json17.1 MB
• tekken.json14.8 MB
• tokenizer_config.json198.1 KB
• special_tokens_map.json147.0 KB
• model.safetensors.index.json29.9 KB
• README.md4.3 KB
• .gitattributes1.6 KB
• config.json623 B
• params.json270 B
• generation_config.json116 B

הרישיון

המודל משוחרר ברישיון apache-2.0. מותר להשתמש בו לכל צורך מסחרי או פרטי, לשנות אותו, לאמן עליו מודלים נגזרים ולשלב אותו במוצרים פנימיים או חיצוניים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗