Devstral-Small-2507-GGUF

קוד פתוח

unslothapache-2.02025-07-10

vllm
gguf
mistral3
en
fr

מודל קוד של 24 מיליארד פרמטרים שמיועד לפעול כסוכן תוכנה עצמאי, לרוץ מקומית על כרטיס בודד ולפתור תקלות אמיתיות בריפו בלי לשלם לענן.

131,072טוקנים בהקשר
361 GBמשקל הקבצים
4,936הורדות בחודש
80לייקים

מה זה

המודל פותח בשיתוף בין Mistral ל־All Hands AI כשהמטרה ברורה, לתת מענה ספציפי למשימות פיתוח מורכבות של סוכנים, כמו חקירת מבנה של פרויקט, עריכה מקבילה של כמה קבצים והפעלת כלים חיצוניים. הבסיס שלו הוא Mistral-Small-3.1, שממנו הסירו לחלוטין את רכיב הראייה כדי למקד אותו רק בטקסט וקוד, והוסיפו תמיכה מלאה במבנה קריאות הפונקציות של מיסטרל.

במבחן SWE-Bench Verified הוא הגיע לתוצאה של 53.6% תחת סביבת OpenHands. המספר הזה עוקף מודלים סגורים כמו Claude 3.5 Haiku שנעצר ב־40.6% ו־GPT-4.1-mini עם 23.6%, ומשאיר מאחור גם משקלים פתוחים כבדים בהרבה. המשמעות בפועל היא יכולת גבוהה יחסית לסגור באגים אמיתיים של גיטהאב בלי התערבות אנושית מתמדת, לפחות בסביבת בדיקה מבוקרת.

מתאים ל

סוכן תיקון באגים בגיטהאב
חיבור ישיר ל־OpenHands לצורך סריקת ריפו, איתור תקלות ועריכת מספר קבצים במקביל עד פתרון הבעיה.
תוסף פיתוח ל־VSCode
הרצה מקומית בתוך עורכי קוד כמו Cline לייצור פרויקטים שלמים מבוססי פרומפט ללא תלות בענן.
בדיקת כיסוי טסטים אוטומטית
ניתוח עץ הקוד, הפעלת כלי בדיקה, הפקת גרפים של כיסוי והסבר הפערים ישירות בסביבת העבודה.

איפה זה נופל

החיסרון הבולט הוא היעדר תמיכה בקלט ויזואלי. המפתחים תלשו את מודול הראייה לפני האימון, כך שאי אפשר להזין לו צילומי מסך של שגיאות, תרשימי ארכיטקטורה או ממשקי משתמש. מעבר לזה, רשימת השפות הרשמית כוללת אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, איטלקית, יפנית וקוריאנית. עברית לא ברשימה, ולכן התיעוד וההסברים שלו בקוד יישארו באנגלית. בנוסף, המספרים היפים ב־SWE-bench נמדדו תחת סביבת OpenHands, כך שבשימוש בפרומפטים חופשיים או כלי צד שלישי אחרים הביצועים עשויים לרדת.

שאלות
נפוצות

האם המודל תומך בהבנת תמונות או ממשקי משתמש?

לא. למרות שמודל הבסיס Mistral-Small כלל ראייה במקור, בגרסה הזו הסירו את הקידוד הגרפי במכוון. הוא מיועד לעיבוד קוד וטקסט בלבד.

איזה זיכרון צריך כדי להריץ אותו מקומית?

בגרסאות המכווצות של GGUF אפשר להסתפק בכרטיס מסך יחיד בעל 24GB זיכרון כמו RTX 4090, או במחשב מק עם 32GB RAM.

האם יש תמיכה בעבודה עם כלים חיצוניים וקריאות לפונקציות?

כן. המודל עבר אופטימיזציה לסוכנים ותומך בפורמט קריאת הפונקציות הרשמי של Mistral, כולל פרסור מובנה בשרתי vLLM.

איך מריצים

עם 24 מיליארד פרמטרים, המודל דורש כרטיס מסך בודד של 24GB כמו RTX 4090, או מחשב מק עם לפחות 32GB זיכרון משותף כדי לרוץ בצורה שמישה בקוונטיזציה כמו Q4_K_M דרך llama.cpp או LM Studio. אם מריצים ב־llama.cpp חובה להפעיל את הדגל jinja כדי לתת לפרומפט המערכת לעבוד כמו שצריך. להרצה מהירה בייצור מומלץ להרים שרת vLLM מגרסה 0.9.1 ומעלה עם mistral-common מגרסה 1.7.0.

אם אין לכם כרטיס חזק מקומית, או שאתם לא רוצים להתעסק עם ניהול זיכרון וחלון של 128k טוקנים, פשוט תשתמשו במפתח API של Mistral ישירות מול OpenHands. זה חוסך את כל התקורה של החומרה ועובד ישר מהקופסה.

ollama run hf.co/unsloth/Devstral-Small-2507-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

32 קבצים במאגר, 361 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר ברישיון Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים פרטיים ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים המקורית והרישיון.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗