GPT
הוספת כלי
M

Magistral-Small-2509

קוד פתוח

mistralaiapache-2.02025-09-12

  • vllm
  • safetensors
  • mistral3
  • mistral-common
  • en

מודל פתוח עם יכולות חשיבה ועיבוד תמונה, שמתחרה בביצועים מתמטיים של מודלים ענקיים. הוא נבנה במיוחד כדי לספק שרשרת הסקה עמוקה בקוד ובמדע בגודל שניתן לדחוס לחומרה מקומית.

  • 24Bפרמטרים
  • 131,072טוקנים בהקשר
  • 89.5 GBמשקל הקבצים
  • 13,047הורדות בחודש

מה זה

מיסטרל לקחו את מודל הבסיס שלהם בגודל 24 מיליארד פרמטרים והלבישו עליו שכבת אימון ייעודית לחשיבה רב שלבית, לצד מפענח ראייה שמאפשר לו לנתח תמונות במקביל לטקסט. המודל מייצר שרשרת מחשבה פנימית שמתוחמת בתגיות ייעודיות לפני שהוא פולט תשובה סופית, בדומה למודלי חשיבה אחרים בשוק. התוצאה היא זינוק מורגש בפתרון בעיות חישוביות לעומת הגרסאות הקודמות בסדרה.

במבחני ביצועים הוא מציג מספרים יוצאי דופן לגודל שלו. 86.14% בפתרון בעיות AIME24 וציון של 70.88% במבחן Livecodebench מראים שהוא מסוגל להתמודד עם קוד מורכב ואלגוריתמיקה בלי לקרוס מיד. התוצאה ב־GPQA עומדת על 70.07%, מה שאומר שיש כאן יכולת הסקה מדעית ברמה גבוהה מאוד ביחס למודל קומפקטי יחסית שלא דורש שרתי ענק רק כדי לעלות לזיכרון.

מתאים ל

  • פתרון בעיות אלגוריתמיות

    מציג מעל 70% ב־Livecodebench ויודע לייצר שרשרת חשיבה מפורטת בקוד.

  • ניתוח דיאגרמות ותרשימים

    כולל מפענח ראייה מובנה ומסוגל להסיק מסקנות ישירות מתוך תמונות.

  • הרצה מקומית מאובטחת

    אפשר לכווץ אותו לריצה על RTX 4090 יחיד ללא תלות בשרתי ענן חיצוניים.

איפה זה נופל

למרות שחלון ההקשר המוצהר מגיע עד 131,072 טוקנים, המפתחים מודים בעצמם שהביצועים עלולים לרדת אחרי 40 אלף טוקנים. אם אתם בונים על עיבוד מסמכים ארוכים מאוד, שווה לבדוק את איכות הפלט לפני שסומכים על כל הטווח. בנוסף, עברית לא מופיעה ברשימת השפות הנתמכות של המודל, מה שאומר שאי אפשר לבנות עליו לעיבוד שפה טבעית בעברית בלי לצפות לשגיאות ופליטות מוזרות בשרשרת החשיבה.

אותה משפחה

Magistral-Small-2509 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

mistralai/Magistral-Small-2509-GGUF2,451

שאלות
נפוצות

האם אפשר להריץ את המודל על מחשב נייד בלי כרטיס מסך חיצוני?

כן, אבל רק בגרסאות מכווצות בפורמט GGUF ועל גבי מחשב עם לפחות 32 גיגה זיכרון מאוחד כמו מקבוק. המשקלים המקוריים שוקלים קרוב ל־90 גיגה בייט ולא יעלו על מחשב רגיל.

איך מחלצים את התשובה הסופית בלי כל תהליך המחשבה של המודל?

המודל משתמש בתגיות מיוחדות בשם THINK לסגירת תהליך ההסקה. ספריות כמו vLLM כוללות מפענח ייעודי למיסטרל שיודע להפריד את המחשבות מהפלט הסופי באופן אוטומטי.

איך מריצים

המשקלים הגולמיים שוקלים 89.5 גיגה בייט, כך שלהריץ אותו בלי קוונטיזציה דורש לפחות שני כרטיסי מסך חזקים עם תמיכה בטנזור פרלליזם, בדיוק כמו שמופיע בהגדרות ההרצה המומלצות של vLLM. מי שרוצה להריץ אותו על תחנת עבודה בודדת עם כרטיס RTX 4090 יחיד או על מקבוק עם 32 גיגה זיכרון יצטרך גרסה מכווצת בפורמט GGUF, שכבר זמינה דרך llama.cpp או unsloth.

אם אתם לא רוצים להתעסק עם ניהול זיכרון של עשרות גיגה בייטים או שאין לכם חומרה ייעודית לעיבוד תמונה לצד טקסט, הפעלה מקומית תהיה איטית מאוד. במקרים שבהם נדרשת זמינות גבוהה בלי להתעסק בתחזוקת שרתים, שירות ענן או שימוש בגרסה מכווצת דרך כלי כמו LM Studio יחסכו הרבה שעות עבודה.

pip install -U huggingface_hub
hf download mistralai/Magistral-Small-2509

הקבצים

19 קבצים במאגר, 89.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לאמן אותו מחדש ולשלב אותו במוצרים פנימיים או חיצוניים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗