lmstudio-community/Mistral-Small-3.1-24B-Instruct-2503-GGUF
קוד פתוחlmstudio-communityapache-2.02025-03-18
גרסת GGUF של מיסטרל בנפח 24B שמתאימה להרצה מקומית עם דגש על סוכנים והסקה מתקדמת. היא מציעה חלון הקשר של 128k בלי להזדקק לחוות שרתים ענקית.
- 67.1 GBמשקל הקבצים
- 2,770הורדות בחודש
- 41לייקים
מה זה
מדובר במודל טקסט בלבד שמבוסס על הארכיטקטורה של מיסטרל, שעבר התאמה ספציפית למשימות של הפעלת סוכנים והסקה לוגית מורכבת. הדגם הזה תומך בעשרות שפות שונות, וכולל חלון הקשר באורך של 128k, שמאפשר להזין מסמכים ארוכים או לתחזק שיחות ממושכות בלי לאבד מידע מוקדם.
הקוונטיזציה לכאן בוצעה על בסיס llama.cpp, מה שהופך את הדגם לידידותי לשימוש ישיר בכלים כמו LM Studio. הגודל שלו, 24 מיליארד פרמטרים, יושב בנקודת אמצע בין המודלים הקטנים שרצים בקלות על מחשב נייד לבין המפלצות שדורשות שרת ייעודי, ולכן הוא רלוונטי למי שצריך יכולות חזקות מקומית.
מתאים ל
- סוכנים אוטונומיים
המודל אומן ספציפית למשימות של agentic use, ולכן מתאים לתכנון שלבים והפעלת כלים.
- ניתוח מסמכים ארוכים
תמיכה בחלון הקשר של 128k מאפשרת לטעון קבצים שלמים בלי לקטוע את הטקסט.
- משימות היגיון מורכבות
האימון להסקה מתקדמת עוזר בפירוק בעיות לוגיות שדורשות מעקב אחר הוראות מפורטות.
איפה זה נופל
הדגם מוגדר כמודל טקסט בלבד, כך שאין לו שום יכולת לנתח תמונות, שמע או מסמכים סרוקים ישירות. בנוסף, עברית לא מוזכרת ברשימת השפות הנתמכות שפורסמה בכרטיס הדגם, מה שאומר שיכולות הכתיבה וההבנה שלו בעברית עשויות להיות חלשות או לא עקביות, וצריך לבדוק אותן ידנית לפני שמתבססים עליו במוצר מקומי.
שאלות
נפוצות
האם המודל יודע לקרוא עברית?
עברית לא מופיעה ברשימת השפות שהיצרן ציין בכרטיס המודל, אף על פי שיש תמיכה בשפות רבות אחרות כמו ערבית או רוסית. ייתכן שהוא יבין מילים מסוימות, אבל אי אפשר להסתמך עליו לפרויקט בעברית בלי בדיקה מוקדמת.
האם הדגם כולל יכולות ראייה ממוחשבת?
לא, מדובר בגרסת טקסט בלבד כפי שצוין במפורש בפרטים הטכניים. אם המערכת שלכם צריכה לעבד תמונות או דיאגרמות, תצטרכו להשתמש במודל אחר שכולל מודול מולטימודלי.
איך מריצים
כדי להריץ את הדגם הזה תצטרכו חומרה עם זיכרון גרפי או זיכרון אחסון משותף בהיקף נרחב, בייחוד אם אתם רוצים לנצל את חלון ההקשר המלא של 128k. כל הקבצים יחד שוקלים 67.1 גיגה בייט, כך שכרטיס מסך ביתי בודד של 16 גיגה לא יספיק לגרסאות הגדולות בלי פשרות קשות על איכות הקוונט או מהירות היצירה.
אם יש לכם מחשב מק עם זיכרון מאוחד גבוה או תחנת עבודה עם מספר כרטיסים, ההרצה המקומית ב־llama.cpp תעבוד טוב. אחרת, אם אתם צריכים רק שאילתות בודדות ולא רוצים להשקיע בברזלים כבדים, עדיף לפנות ישירות ל־API חיצוני שמחזיק את הדגם המקורי.
ollama run hf.co/lmstudio-community/Mistral-Small-3.1-24B-Instruct-2503-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
7 קבצים במאגר, 67.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא Apache 2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה של המודל בתוך מוצרים פרטיים או מסחריים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי, בלי חובה לפתוח את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים