Devstral-Small-2505-GGUF

קוד פתוח

unslothapache-2.02025-05-21

gguf
mistral
unsloth
en
fr

גרסת קוונטיזציה של מודל קוד סוכנותי בגודל 24 מיליארד פרמטרים. הוא מיועד למי שרוצה להריץ סוכן תכנות מקומי ועצמאי בלי לשלם על API חיצוני.

131,072טוקנים בהקשר
349 GBמשקל הקבצים
2,258הורדות בחודש
118לייקים

מה זה

המודל מבוסס על Mistral Small 3.1 עם 24 מיליארד פרמטרים, כשהוא עבר אימון ייעודי למשימות סוכנותיות של הנדסת תוכנה בשיתוף עם All Hands AI. הוא מיועד לחקור מאגרי קוד, לערוך כמה קבצים במקביל ולהפעיל כלים באופן אוטונומי. כדי להתמקד נטו בקוד, רכיב הראייה שהיה במודל הבסיס הוסר לחלוטין לפני שלב האימון הנוכחי.

במבחן SWE-Bench Verified עם מעטפת OpenHands הוא מגיע לציון של 46.8 אחוז. המספר הזה עוקף מודלים סגורים כמו Claude 3.5 Haiku שקיבל 40.6 אחוז או GPT-4.1-mini עם 23.6 אחוז, ומציב אותו בראש המודלים הפתוחים שנבדקו שם. זה אומר שבפועל, כשהוא מחובר למערכת שמריצה ובודקת את הקוד, הוא מצליח לפתור בעיות גיטהאב אמיתיות בשיעור גבוה מאוד ביחס לגודל שלו.

מתאים ל

סוכן לתיקון באגים
חיבור למעטפת OpenHands כדי לסרוק ריפו, לאתר תקלות ולתקן קבצים ישירות.
פיתוח מקומי מאובטח
הרצה מקומית על RTX 4090 לעבודה על קוד פנימי בלי להוציא נתונים לרשת.
בניית פיצ'רים באפליקציה
יצירת קוד שלם לכמה שכבות מקצה לקצה מתוך תיאור דרישות טקסטואלי.

איפה זה נופל

הכרטיס מדגיש שהמודל עובד כסוכן טקסטואלי בלבד וללא יכולות ראייה, כך שאי אפשר להזין לו צילומי מסך של ממשק או דיאגרמות ארכיטקטורה. בנוסף, חלון ההקשר עומד על 131,072 טוקנים, אבל עברית לא נכללת ברשימת השפות הנתמכות שמופיעה במפרט. אם תנסו לעבוד איתו על תיעוד או ממשקים בעברית, צפו לפגיעה בביצועים או לטוקניזציה לא יעילה. חשוב לזכור שהתוצאות הגבוהות נמדדו תחת מעטפת ספציפית של OpenHands, ובלי מעטפת כזו שתנהל את הכלים, היכולות שלו מוגבלות בהרבה.

שאלות
נפוצות

האם המודל תומך בתמונות וצילומי מסך?

לא. מודל הבסיס אמנם כלל רכיב ראייה, אבל המפתחים הסירו אותו לחלוטין לפני שלב האימון כדי למקד את כל המשקל והמשאבים במשימות קוד טקסטואליות בלבד.

איזה מחשב צריך בשביל להריץ אותו מקומית?

בגרסאות המכווצות מספיק כרטיס מסך בודד של 24 גיגה בייט כמו RTX 4090, או מחשב מק בעל זיכרון מאוחד של 32 גיגה בייט ומעלה.

איך מריצים

את קובצי ה־GGUF של Unsloth אפשר להריץ מקומית דרך LM Studio, vLLM, Ollama או llama.cpp, כאשר בעבודה מול llama.cpp החוקרים מציינים שחובה להוסיף את הדגל jinja כדי שהפרומפט של המערכת יעבוד נכון. המודל שוקל 24 מיליארד פרמטרים, כך שבגרסת קוונטיזציה כמו Q4 אפשר לדחוף אותו לכרטיס מסך בודד של 24 גיגה בייט כמו RTX 4090, או למחשב מק עם 32 גיגה בייט זיכרון משותף.

הריפו כולל קבצים במשקל כולל של 349 גיגה בייט שמכילים דיוקים שונים, לכן אין צורך להוריד את הכל אלא רק את הקובץ הספציפי שמתאים לחומרה שלכם. אם אין לכם חומרה כזו עם מספיק זיכרון וידאו פנוי, עדיף להשתמש ב־API הרשמי של Mistral או להרים שרת מרוחק, כי הרצה על מעבד רגיל תהיה איטית מדי לעבודה סוכנותית שדורשת המון קריאות רצופות.

ollama run hf.co/unsloth/Devstral-Small-2505-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

35 קבצים במאגר, 349 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון Apache 2.0. זה רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המודל בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות משפטית על היוצרים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗