GPT
הוספת כלי
M

Mistral-Small-3.2-24B-Instruct-2506

קוד פתוח

mistralaiapache-2.02025-06-19

  • vllm
  • safetensors
  • mistral3
  • mistral-common
  • en

גרסת 24 מיליארד פרמטרים שמיועדת להרצה מקומית חזקה ומשלבת טקסט עם תמונות. היא מתקנת בעיות של חזרתיות ומציגה שיפור משמעותי בהבנת פקודות ביחס לגרסה הקודמת.

  • 24Bפרמטרים
  • 131,072טוקנים בהקשר
  • 89.5 GBמשקל הקבצים
  • 127,888הורדות בחודש

מה זה

מדובר בעדכון ישיר לגרסה 3.1 של אותה משפחה, בארכיטקטורת Mistral3ForConditionalGeneration. הוא כולל תמיכה מובנית בעיבוד תמונה לצד טקסט, הפעלת פונקציות בקוד וחלון הקשר של 131,072 טוקנים. השינוי הבולט ביותר הוא זינוק במבחני שיחה והבנת הוראות, שבהם המודל קפץ מציון של 19.56% ל־43.1% ב־Arena Hard v2 ומ־55.6% ל־65.33% ב־Wildbench v2.

היצרן טיפל גם בתופעה שבה המודל נתקע בלולאות אינסופיות של פלט, והוריד את שיעור התקלה מ־2.11% ל־1.29%. מבחינת ביצועי קוד, נרשם שיפור סולידי ב־HumanEval Plus עם ציון של 92.90% לעומת 88.99% בגרסה הקודמת. שאר היכולות, כולל ניתוח תרשימים וראייה ממוחשבת, נשארו כמעט ללא שינוי או הראו תנודות קלות בלבד.

מתאים ל

  • הפעלת פונקציות במערכות

    מבנה קריאות הכלים עבר שדרוג ומאפשר חיבור אמין לממשקי תוכנה וקוד.

  • ניתוח מסמכים ותרשימים

    מציג 94.86% בדיוק של DocVQA ומתאים לחילוץ נתונים מדפי מידע ותמונות.

  • עבודה עם טקסטים ארוכים

    חלון של 131,072 טוקנים מאפשר לעבד קבצים גדולים בלי להיכנס ללולאות פלט.

איפה זה נופל

למרות השדרוג, ביצועי הראייה הממוחשבת לא השתפרו ובחלק מהמדדים נרשמה ירידה קלה, למשל ציון MMMU שירד מ־64% ל־62.5% ו־Mathvista שירד מ־68.91% ל־67.09%. בנוסף, התוצאה במבחן העובדות SimpleQA נמוכה מאוד ועומדת על 12.10% בלבד, כך שלא כדאי להסתמך עליו כשולף מידע מדויק ללא בדיקה. חסרון מובהק למפתחים בארץ הוא רשימת השפות הנתמכות, שכוללת אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, איטלקית, יפנית וקוריאנית, אך עברית אינה מופיעה בה.

שאלות
נפוצות

האם המודל מתאים לפיתוח מערכות בעברית?

הכרטיס מפרט שמונה שפות נתמכות ועברית אינה ביניהן. הוא מסוגל להבין מעט שפות נוספות, אך חוסר התמיכה הרשמי אומר שעלולות לצוץ בעיות דיוק וטוקניזציה. לא מומלץ לבנות עליו שירות מרכזי בעברית בלי לבדוק אותו מראש.

איזה ציוד חומרה מינימלי צריך כדי להפעיל אותו?

הרצה במצב bfloat16 צורכת כ־55 גיגה-בייט של זיכרון וידאו. בפועל תצטרכו שרת עם לפחות שני כרטיסי מסך תומכים כדי לחלק ביניהם את העומס. מומלץ גם לכוון את הטמפרטורה לערך נמוך של 0.15 כפי שממליצים המפתחים.

במה הגרסה הזו עדיפה על 3.1?

ההבדל מורגש ביכולת להיצמד להנחיות שלכם, עם קפיצה משמעותית במבחני שיחה. בנוסף, נפתרה חלק ניכר מבעיית החזרתיות המעיקה של פלטים ארוכים, והתבנית לקריאת פונקציות הפכה ליציבה יותר.

איך מריצים

כדי להריץ את המודל בדיוק מלא של bfloat16 דרושים בערך 55 גיגה-בייט של זיכרון גרפי. זה אומר שתצטרכו זוג כרטיסי מסך חזקים או שרת ייעודי, כאשר ההמלצה הרשמית היא להשתמש ב־vLLM עם הגדרת tensor parallel לשני כרטיסים. הקבצים עצמם שוקלים 89.5 גיגה-בייט ודורשים עדכון של ספריות הבסיס לגרסאות חדשות.

אם אין לכם תשתית עם זיכרון גרפי מתאים, תחזוקת שרת כזה תעלה לא מעט כסף בהשוואה לשליחת בקשות בודדות לספק ענן. ההרצה העצמית משתלמת בעיקר כשיש נפח תנועה קבוע או דרישה חד-משמעית שהמידע והתמונות לא יעזבו את השרת שלכם.

pip install -U huggingface_hub
hf download mistralai/Mistral-Small-3.2-24B-Instruct-2506

הקבצים

19 קבצים במאגר, 89.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו בחופשיות. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בתוכנה שאתם מפיצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗