Devstral-Small-2-24B-Instruct-2512-GGUF

קוד פתוח

unslothother2025-12-10

gguf
mistral3
mistral-common
unsloth
mistral

גרסה מכווצת למודל פיתוח תוכנה עצמאי שמסוגל לעבוד ישירות על קבצים בטרמינל. הוא פונה למי שרוצה סוכן קוד פרטי על החומרה המקומית בלי לשלוח פרויקטים לרשת.

393,216טוקנים בהקשר
362 GBמשקל הקבצים
41,828הורדות בחודש
173לייקים

מה זה

מדובר במודל שנועד להריץ משימות הנדסת תוכנה מורכבות, לחקור מאגרי קוד ולערוך מספר קבצים במקביל דרך כלים חיצוניים. לצד יכולות הטקסט והקוד הוסיפו לו יכולות ראייה לניתוח תמונות, ושימוש במנגנון תשומת לב מסוג Scalable Softmax עם התאמות שנלקחו מ־Ministral 3 ו־Llama 4.

במבחן SWE Bench Verified הוא מגיע ל־68.0%, תוצאה זהה ל־GLM 4.6 שמחזיק 455 מיליארד פרמטרים, וקרובה מאוד למודלים של מאות מיליארדי פרמטרים כמו Qwen 3 Coder Plus שעומד על 69.6%. עם זאת, במבחן Terminal Bench 2 הוא נעצר ב־22.5%, פער משמעותי לעומת מודלי ענן מתקדמים.

מתאים ל

סוכן לפיתוח מקומי
מאפשר עריכת קבצים וחקר קוד מקומי דרך Mistral Vibe או כלי צד שלישי כמו Cline ו־OpenHands.
ניתוח דיאגרמות וממשקים
שילוב יכולות הראייה עוזר לפענח תמונות של תקלות או ארכיטקטורה יחד עם הקוד עצמו.
אינטגרציה עם כלים חיצוניים
מתאים לסביבות שדורשות קריאות פונקציות מסודרות לצורך הרצת פקודות ובדיקות אוטומטיות.

איפה זה נופל

הביצועים בטרמינל נמוכים משמעותית ממודלים גדולים, עם 22.5% בלבד ב־Terminal Bench 2 לעומת יותר מ־50% במודלים סגורים. בנוסף, מי שבוחר להריץ בסביבות כמו llama.cpp, ollama או lmstudio צריך לקחת בחשבון שהמימושים הנוכחיים שם עלולים להיות לא מדויקים לפי היצרן, ובספריית transformers קיימת תקלה בהרצת FP8 ישירה שדורשת המרה אוטומטית ל־BFloat16.

שאלות
נפוצות

האם המודל ירוץ בצורה חלקה בתוך Ollama?

היוצרים מציינים שהתמיכה ב־ollama, llama.cpp ו־lmstudio עדיין מוגדרת כבפיתוח, והמימושים הקיימים עלולים להחזיר תוצאות לא מדויקות. מומלץ להריץ את בדיקות הפרומפטים שסופקו בכרטיס או להשתמש ב־vLLM.

איך מפעילים אותו ישירות מתוך הטרמינל לפיתוח שוטף?

אפשר להתקין את כלי ה־CLI הייעודי Mistral Vibe בעזרת uv או pip, להגדיר אותו בתיקיית השורש של הפרויקט, ולהריץ משימות שמשלבות עריכת קבצים.

איך מריצים

כדי להריץ אותו מקומית צריך כרטיס RTX 4090 בודד או מחשב מק עם 32GB זיכרון. המשקל הכולל של הקבצים במאגר הזה מגיע ל־362 גיגה בייט ומחולק בין 33 קבצים, שכוללים גרסאות קוונטיזציה שונות בשיטת Unsloth Dynamic 2.0 בפורמט GGUF, לצד דיוק בסיס של bfloat16.

מי שמשתמש בסביבות כמו vLLM צריך לשים לב לדרישות של mistral_common מגרסה 1.8.6 ומעלה ולוודא שההתקנה כוללת את התיקון לקריאות כלים. אם הביצועים בהרצה מקומית ירודים או שאין כרטיס מתאים, המפתחים ממליצים לעבור ל־API הרשמי שלהם.

ollama run hf.co/unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

33 קבצים במאגר, 362 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בכרטיס המודל המקורי נכתב שהרישיון הוא Apache 2.0 שמתיר שימוש מסחרי ושינויים בקוד, אך המטא־דאטה בעמוד מסמנת את הרישיון כ־other. במצב כזה, מי שמתכנן להטמיע אותו במוצר מסחרי צריך לבדוק היטב את תנאי הקובץ הספציפי במאגר כדי לוודא שאין הגבלות שימוש סותרות.

הרישיון המלא בעמוד המודל ↗