unsloth/Ministral-3-14B-Instruct-2512-GGUF

קוד פתוח

unslothapache-2.02025-12-02

vllm
gguf
mistral-common
mistral
unsloth

גרסת GGUF של מודל 14B רב-אופני הכולל ראייה וחלון הקשר ענקי. מי שמחפש ביצועים של מודלים גדולים בהרבה על חומרה מקומית מקבל כאן מענה חזק.

212 GBמשקל הקבצים
13,158הורדות בחודש
88לייקים

מה זה

הארכיטקטורה מחלקת את העבודה בין מודל שפה של 13.5B לבין אנקודר ראייה של 0.4B, שילוב שמוציא יכולות מולטימודליות מגודל קומפקטי יחסית. בכרטיס המודל מדווחים ציונים כמו 0.551 ב־Arena Hard וציון 68.5 ב־WildBench, מה שמציב אותו בראש הטבלה מול מתחרים באותו סדר גודל כמו Gemma3 וסדרת Qwen3.

הוא תומך בחלון הקשר של 256k טוקנים, תכונה ששמורה בדרך כלל למודלי ענן יקרים. מעבר לטקסט ולתמונות, המבנה מאפשר הפעלת פונקציות ופליטת מבני JSON כחלק מובנה מההתנהגות שלו, עם דגש על היצמדות מדויקת להוראות מערכת.

מתאים ל

סוכנים אוטונומיים
תמיכה מובנית ב־JSON וקריאת כלים שמאפשרת שילוב זול ומקומי במערכות אוטומציה.
ניתוח מסמכים ותמונות
מודל ראייה פנימי של 0.4B שמעבד קלטים חזותיים יחד עם הוראות טקסט מורכבות.
עיבוד טקסטים ארוכים
חלון הקשר של 256k טוקנים שמתאים לסריקה ותמצות של עשרות עמודים בבת אחת.

איפה זה נופל

עברית לא מופיעה ברשימת השפות הנתמכות שסומנו במודל, הכוללת בעיקר שפות אירופאיות, סינית, ערבית, יפנית וקוריאנית. מי שבונה עליו לטקסטים בעברית חייב לבדוק אותו ביסודיות לפני שילוב במערכת, כי שפות מחוץ לרשימה סובלות פעמים רבות מתחביר שבור והזיות.

בנוסף, שימוש ב־Transformers פורק כרגע את משקלי ה־FP8 ישירות ל־BF16 בלי האצה ייעודית, דבר שפוגע במהירות התגובה ומחייב מעבר ל־vLLM כדי לקבל ביצועים סבירים.

שאלות
נפוצות

האם המודל ירוץ על מחשב אישי עם כרטיס מסך ביתי?

כן, בגרסאות ה־GGUF המכווצות אפשר לדחוס אותו לפחות מ־24GB של זיכרון גרפי. כרטיס ביתי חזק יריץ אותו היטב, בתנאי שתגבילו את גודל ההקשר ולא תנסו לפתוח את כל 256k הטוקנים.

האם הוא מסוגל לעבוד בעברית בצורה שוטפת?

השפה לא רשומה במפרט הרשמי של המודל, ולכן היכולת שלו לייצר טקסט עברי מדויק מוגבלת. חובה לבצע בדיקות מקדימות על המשימות הספציפיות שלכם לפני כל שימוש מעשי.

איך מריצים

כדי להריץ את גרסת ה־FP8 נדרש כרטיס עם 24GB של זיכרון וידאו, כאשר גרסאות מכווצות ב־GGUF ירדו גם מתחת לרף הזה. המאגר כולל 32 קבצים במשקל כולל של 212 גיגה בייט שמציעים מגוון כיולים, כך שאינכם מוגבלים לחומרה ברמת מרכז נתונים. ההרצה עצמה מומלצת דרך vLLM עם פרסר ייעודי של Mistral לקריאות כלים.

הגדרת ברירת המחדל של חלון ההקשר עומדת על 262,144 טוקנים ותגזול את כל הזיכרון אם לא תגבילו אותה ידנית. אם אתם מתכננים לפתוח את מלוא ההקשר באופן קבוע, כרטיס מקומי בודד לא יחזיק את העומס ותעדיפו להשתמש בשרת מרוחק.

ollama run hf.co/unsloth/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

32 קבצים במאגר, 212 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ ברישיון Apache 2.0 מלא. אפשר לקחת אותו לשימוש מסחרי, לשנות את הקוד, לפתח מוצרים סגורים ולהפיץ אותם בלי תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית ולא מפרים זכויות של צד שלישי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗