Devstral-Small-2507_gguf
קוד פתוחmistralaiapache-2.02025-07-07
מודל קוד של 24 מיליארד פרמטרים שתוכנן מראש לעבודה כסוכן עצמאי. הוא מתאים למי שרוצה להריץ לוקאלית כלי שחוקר פרויקטים ועורך קבצים בלי לשלוח שורות קוד לענן.
- 96.2 GBמשקל הקבצים
- 2,974הורדות בחודש
- 49לייקים
מה זה
מדובר בגרסת GGUF של Devstral Small 1.1, שפותחה בשיתוף בין Mistral לבין All Hands AI ועברה כוונון מתוך Mistral-Small-3.1. המטרה המרכזית שלו היא לא סתם להשלים פונקציות בודדות, אלא לתפקד בתוך סביבות פיתוח אוטונומיות שמשתמשות בכלים חיצוניים, רצות על פני מספר קבצים ומבצעות שינויים רחבים בקוד. הוא מגיע עם חלון הקשר של 128k טוקנים וטוקנייזר מסוג Tekken, ומדורג במקום הראשון בקוד פתוח במבחן SWE-bench, מה שאומר שהוא מתמודד עם באגים אמיתיים במאגרי קוד טוב יותר ממודלים פתוחים אחרים.
גרסת 1.1 מביאה שיפור בביצועים לעומת הגרסה הקודמת, תמיכה בפורמט קריאת הפונקציות של Mistral והכללה טובה יותר לסביבות עבודה שונות מעבר לשילוב המובנה עם OpenHands. ההבדל המשמעותי ביותר בינו לבין מודל הבסיס הוא הסרת מודול הראייה לפני שלב האימון, כך שמדובר בכלי ממוקד טקסט וקוד בלבד, בלי משקל עודף שלא משרת משימות הנדסת תוכנה.
מתאים ל
- סוכן לפתרון באגים במאגר
חיבור ישיר לסביבת OpenHands לניתוח שגיאות, שינוי קבצים מרובים והרצת תיקונים אוטונומיים.
- עבודה לוקאלית על קוד רגיש
ריצה מקומית על RTX 4090 או Mac עם 32GB זיכרון לפרויקטים שאסור להוציא לענן חיצוני.
- ניתוח בסיס קוד רחב
חלון הקשר של 128k מאפשר לטעון תיעוד נרחב ומספר קבצים במקביל בעזרת קריאות פונקציה מובנות.
איפה זה נופל
המודל הזה עיוור לחלוטין. מפתחי מיסטרל הסירו ממנו את רכיב הראייה שהיה קיים במודל המקור, כך שאי אפשר להזין לו צילומי מסך של ממשק משתמש, דיאגרמות ארכיטקטורה או באגים ויזואליים. בנוסף, מיסטרל מציינים בפירוש שאין להם עדיין ניסיון רב בייצור קובצי GGUF מכומתים ומבקשים דיווחי תקלות מהקהילה, מה שאומר שחובה לבדוק היטב את יציבות הקבצים לפני שמסתמכים עליהם. מבחינת שפות הוא מוגבל לרשימה סגורה הכוללת אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, איטלקית, יפנית וקוריאנית, כך שעברית כלל אינה ברשימת השפות הנתמכות.
אותה משפחה
Devstral-Small-2507 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בהבנת תמונות או דיאגרמות?
לא. מודול הראייה הוסר לחלוטין ממודל הבסיס לפני שלב הכוונון. הוא מעבד טקסט וקוד בלבד.
איזו חומרה מינימלית נדרשת להרצה חלקה?
משקלי ה־Q4 דורשים מחשב Mac עם לפחות 32GB זיכרון אחוד או מחשב עם כרטיס מסך בודד ברמת RTX 4090 בעל 24GB VRAM. מעבר לזה, ניצול מלא של 128k טוקנים בהקשר ידרוש זיכרון נוסף.
האם המודל מסוגל לעבוד בעברית?
החומר הרשמי מפרט רשימת שפות שכוללת אנגלית, אירופאיות, יפנית וקוריאנית, ועברית אינה מופיעה בהן. מומלץ להשתמש בו להנחיות ולפיתוח באנגלית בלבד.
איך מריצים
את קובץ ה־GGUF מריצים מקומית באמצעות llama.cpp דרך שורת הפקודה או שרת מקומי, ואפשר גם לטעון אותו ישירות לתוך LM Studio ולחבר אליו את OpenHands בעזרת קונטיינר של דוקר. המודל שוחרר במשקלי BF16 וכן בכימותים של Q8_0, Q5_K_M ו־Q4_K_M. גרסת ה־Q4_K_M קלה מספיק כדי לרוץ על כרטיס RTX 4090 יחיד או על מחשב Mac עם 32GB זיכרון עבודה.
אם אין לכם כרטיס עם מספיק VRAM כדי להחזיק את המודל יחד עם חלון הקשר עמוק של 128k טוקנים, תרגישו ירידה חדה בקצב הריצה. במצב כזה, או בפרויקטים שדורשים ידע ייעודי שאינו בקוד הפתוח, עדיף להשתמש ב־API מרוחק או לחכות לגרסאות הארגוניות המסחריות שמיסטרל מתכננת לשחרר.
ollama run hf.co/mistralai/Devstral-Small-2507_gguf:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
7 קבצים במאגר, 96.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון Apache 2.0 מלא. זהו רישיון מתירני שמאפשר להשתמש בקוד ובמשקלים, לשנות אותם ולשלב אותם במוצרים מסחריים או פנימיים בחופשיות. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים וכתב הוויתור על אחריות במקרה של הפצה מחדש.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים