GPT
הוספת כלי
M

Magistral-Small-2506

קוד פתוח

mistralaiapache-2.02025-06-04

  • vllm
  • safetensors
  • mistral
  • mistral-common
  • en

זהו מודל חשיבה קומפקטי שמייצר שרשראות הסקה לפני מתן תשובה. הוא נותן פתרון מקומי למי שרוצה ביצועי היגיון וקוד גבוהים בלי להרים שרת ענק.

  • 24Bפרמטרים
  • 40,960טוקנים בהקשר
  • 87.8 GBמשקל הקבצים
  • 76,961הורדות בחודש

מה זה

המודל הזה נבנה על בסיס Mistral Small 3.1 ועבר אימון ייעודי להסקה מעמיקה בעזרת מעקב אחרי שרשראות חשיבה של המודל הגדול יותר בסדרה, לצד למידת חיזוק. הוא מחזיק 24 מיליארד פרמטרים ומתמחה בפירוק בעיות מורכבות לשלבים לפני שהוא פולט את התשובה הסופית למשתמש.

במבחני ביצועים הוא קרוב מאוד למודל Medium הגדול ממנו. הוא מוציא 70.68% ב־AIME24 ו־68.18% ב־GPQA Diamond, שזה ציון חזק במיוחד לשאלות מדעיות ברמת דוקטורט. במבחן Livecodebench v5 הוא רושם 55.84%, כך שהוא מתמודד יפה עם בעיות תכנות תחרותיות ולא נשבר מיד בלוגיקה קשה. היכולת הזו לחשוב צעד אחר צעד הופכת אותו לשונה מרוב המודלים בגודל הזה, שמנסים לענות מיד בלי תכנון מוקדם.

מתאים ל

  • פתרון בעיות מתמטיקה ולוגיקה

    הוא מפיק שרשראות חשיבה מפורטות ומגיע ל־70.68% במבחן AIME24, מה שעוזר בניתוח נוסחאות וחישובים מורכבים.

  • ניפוח וייצור קוד מקומי

    עם ציון של 55.84% ב־Livecodebench, אפשר להריץ אותו על תחנת עבודה פרטית לכתיבת פונקציות ודיבאגינג.

  • אימון מודלים מותאם אישית

    הוא נתמך ישירות בכלים כמו Axolotl ו־Unsloth, מה שמאפשר לכוונן אותו על דאטה פנימי של החברה בקלות.

איפה זה נופל

החלון אמנם מוצהר טכנית כרחב בהרבה, אבל הביצועים מתחילים להתדרדר מעבר ל־40 אלף טוקנים, ולכן מיסטרל עצמם ממליצים להגביל אותו לשם. חוץ מזה, עברית בכלל לא מופיעה ברשימת השפות הנתמכות בכרטיס המודל. אם אתם בונים שירות שצריך לנתח עברית מורכבת, שרשרת ההסקה עלולה להישבר או להחזיר פלטים משובשים, וזה דורש בדיקה קפדנית לפני שסומכים עליו.

אותה משפחה

Magistral-Small-2506 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Magistral-Small-2506_gguf245

שאלות
נפוצות

האם המודל תומך בעברית?

הכרטיס מפרט עשרות שפות נתמכות כמו אנגלית, צרפתית, ערבית ופרסית, אך עברית אינה מופיעה ברשימה. סביר שהוא יבין מילים בודדות, אך שרשראות החשיבה והתחביר בעברית אינם מובטחים ועלולים להיות ברמה נמוכה.

איך כדאי להגדיר את הפרמטרים בריצה?

מיסטרל ממליצים במפורש לקבוע טמפרטורה של 0.7, מדד top_p על 0.95 ולהגביל את אורך הפלט המקסימלי ל־40,960 טוקנים. כמו כן, מומלץ להשתמש בפרומפט המערכת המקורי שלהם כדי לקבל את תוצאות ההסקה הטובות ביותר.

איך מריצים

כדי להריץ אותו במשקל המקורי המלא ב־bfloat16 צריך שרת ייעודי, כאשר ההמלצה הרשמית של מיסטרל היא לעבוד עם vLLM בחלוקה לשני כרטיסים. הקבצים שוקלים קרוב ל־88 גיגה-בייט, כך שזה לא רץ ישירות על מחשב נייד רגיל.

ברגע שעוברים לגרסאות מכווצות של הקהילה ב־GGUF דרך Ollama, LM Studio או llama.cpp, אפשר לדחוף אותו לכרטיס RTX 4090 יחיד או למקבוק עם 32 גיגה זיכרון. אם אין לכם חומרה כזו זמינה, הקריאה למודל מנוהל דרך ענן תחסוך את כאב הראש של ניהול הזיכרון.

pip install -U huggingface_hub
hf download mistralai/Magistral-Small-2506

הקבצים

19 קבצים במאגר, 87.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון Apache 2.0 מלא. אתם רשאים לקחת אותו, לשנות אותו, לאמן עליו גרסאות משלכם ולהטמיע אותו במוצרים מסחריים בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת הרישיון המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗