Devstral-2-123B-Instruct-2512-GGUF

קוד פתוח

unslothother2025-12-10

vllm
gguf
mistral-common
unsloth
mistral

גרסת קוונטיזציה של מודל קוד ענק בגודל 123 מיליארד פרמטרים. הוא מיועד לסוכני תוכנה אוטונומיים שצריכים לנתח פרויקטים שלמים, להריץ כלים ולערוך קבצים בעצמם.

1.8 TBמשקל הקבצים
4,945הורדות בחודש
56לייקים

מה זה

מדובר במודל הוראות שמכוון לעבודת פיתוח תוכנה מורכבת, עם חלון הקשר רחב של 256 אלף טוקנים שמתאים לסריקת מאגרי קוד גדולים. המודל פותח סביב עבודה עם כלים חיצוניים, בדיקת קבצים ועריכה במספר מוקדים במקביל, כשהוא מציג תוצאה של 72.2 אחוז במבחן SWE Bench Verified ו־61.3 אחוז במבחן הרב־לשוני.

התוצאות האלה מציבות אותו מעל מודלים פתוחים עצומים כמו Qwen 3 Coder Plus או GLM 4.6, למרות שהוא קטן מהם משמעותית בנפח הפרמטרים. במבחן הטרמינל הוא נעצר ב־32.6 אחוז, מה שמראה ששליטה ישירה בשורת הפקודה עדיין מורכבת עבורו בהשוואה למודלים סגורים מובילים.

מתאים ל

סוכן לפיתוח תוכנה
חיבור לכלי שלד כמו Cline או OpenHands לפתרון בעיות ועריכת קוד על פני מספר קבצים בפרויקט.
עבודה מול הטרמינל
הפעלה באמצעות כלי שורת הפקודה Mistral Vibe כדי לחקור מאגרי קוד ולבצע שינויים ישירות מהמסוף.
סריקת פרויקטים גדולים
ניתוח ארכיטקטורה וחיפוש תלויות בקוד הודות לחלון הקשר של 256 אלף טוקנים.

איפה זה נופל

ההרצה המקומית דורשת זהירות טכנית גבוהה. בתיעוד מצוין במפורש שגרסאות vLLM חייבות לכלול קומיט ספציפי כדי לא לשבש קריאות לכלים, ומימושים בספריות כמו llama.cpp, ollama או lmstudio עלולים לספק תוצאות לא מדויקות. בנוסף, בביצועי שורת פקודה וטרמינל התוצאה שלו צנועה ועומדת על 32.6 אחוז, כך שהוא עלול להתקשות במשימות DevOps מורכבות.

שאלות
נפוצות

אפשר להריץ את המודל הזה ב־Ollama על המחשב?

התיעוד מציין שמימושים ב־Ollama עדיין לא נחשבים מדויקים וממליץ לבדוק את הפלטים. מעבר לכך, מודל של 123 מיליארד פרמטרים כבד מדי למחשב אישי רגיל ומחייב חומרת שרתים ייעודית.

איך מחברים אותו לכלי פיתוח קיימים?

אפשר להרים שרת מקומי דרך vLLM עם תמיכה מוגדרת בפרסר הכלים של מיסטרל, או להשתמש במפתח API ישירות מתוך כלים נתמכים כמו Cline, Mistral Vibe ו־SWE Agent.

איך מריצים

המשקל הכולל של הקבצים במאגר הזה מגיע ל־1.8 טרה־בייט ב־55 קבצים בפורמט GGUF מבית Unsloth. הרצה מקומית של מודל בנפח כזה דורשת מערך שרתים כבד, ובדוגמת ההרצה הרשמית של vLLM נדרש מקביליות של שמונה מעבדים גרפיים (tensor-parallel-size 8). בנוסף יש לוודא שימוש בספריית mistral-common מגרסה 1.8.6 ומעלה כדי שפענוח קריאות הכלים לא יישבר.

אם אין לכם אשכול GPU ייעודי פנוי, עדיף לחבר את הכלים שלכם, כמו Mistral Vibe, Cline או OpenHands, ישירות ל־API של מיסטרל במקום לנסות להחזיק תשתית כזו בעצמכם.

ollama run hf.co/unsloth/Devstral-2-123B-Instruct-2512-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

55 קבצים במאגר, 1.8 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ללא פירוט תנאים נוסף בכרטיס. במצב כזה אי אפשר להניח שיש היתר לשימוש מסחרי חופשי, וחברות שרוצות להטמיע אותו במוצר חייבות לבדוק את תנאי השימוש המקוריים של מיסטרל או לפנות אליהם ישירות לפני הפצה.

הרישיון המלא בעמוד המודל ↗