GPT
הוספת כלי
M

mistralai/Magistral-Small-2509-GGUF

קוד פתוח

mistralaiapache-2.02025-09-12

  • llama.cpp
  • gguf
  • en
  • fr
  • de

גרסת GGUF של מודל חשיבה עם 24 מיליארד פרמטרים מבית מיסטרל. הוא מיועד למי שרוצה להריץ מקומית שרשראות חשיבה ארוכות על חומרה צנועה יחסית.

  • 96.2 GBמשקל הקבצים
  • 2,451הורדות בחודש
  • 74לייקים

מה זה

המודל הזה נשען על Mistral Small 3.2 אבל מוסיף יכולות היסק וחשיבה עמוקה. הוא עבר אימון על עקבות חשיבה של המודל הבינוני שלהם לצד למידת חיזוק, מה שמאפשר לו לייצר שרשראות חשיבה ארוכות לפני שהוא פולט תשובה סופית. התהליך הזה מתוחם בתוך תגיות חשיבה ייעודיות, כך שקל להפריד בקוד בין שלבי הפתרון לבין המענה שמוצג למשתמש.

בגרסה הזו הוסיפו תמיכה במגוון שפות לצד שיפור בעיצוב הפלט כמו קוד ונוסחאות, וצמצום הנטייה להיכנס ללולאות אינסופיות ביצירת טקסט. חלון ההקשר עומד על 128 אלף טוקנים, אם כי מעבר ל־40 אלף עשויה להיות ירידה בביצועים. למרות שבמודל הבסיס יש יכולות עיבוד תמונה, בקובצי ה־GGUF האלה רכיב הראייה הושמט, כך שהריצה המקומית כאן מוגבלת לטקסט בלבד.

מתאים ל

  • פתרון בעיות לוגיות בקוד

    מייצר שרשרת היסק ארוכה בתוך תגיות ייעודיות לפני הפלט, מה שמתאים לפירוק אלגוריתמים מורכבים.

  • עיבוד מקומי של מסמכים

    מאפשר לעבד טקסטים בהקשר של עד 40 אלף טוקנים על גבי מחשב מקומי ללא צורך בענן חיצוני.

  • אוטומציות מרובות שפות

    מתאים לשרתי בקרה שדורשים מענה בשפות אירופיות ואסייתיות מתוך רשימת השפות הנתמכות במודל.

איפה זה נופל

החיסרון המרכזי במאגר הזה הוא היעדר תמיכה בתמונות, רכיב הראייה לא נכלל בקבצים האלה. בנוסף, חלון ההקשר אמנם מוצהר עד 128 אלף טוקנים, אבל היוצרים עצמם מציינים שהביצועים עלולים להידרדר מעבר ל־40 אלף טוקנים. עברית גם לא נמצאת ברשימת השפות הנתמכות שפורטה בכרטיס המודל. עוד נקודה בעייתית היא תבנית השיחה, אי אפשר פשוט לטעון אותו ישירות לתוך כלי צד שלישי שמסתמך על תבנית פנימית, וחייבים לעבוד דרך ספריית mistral-common כדי לא לשבור את המבנה.

אותה משפחה

Magistral-Small-2509 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Magistral-Small-250913,047

שאלות
נפוצות

האם אפשר לשלוח למודל הזה תמונות?

לא דרך הקבצים האלה. למרות שבמודל המקורי יש רכיב ראייה, קובצי ה־GGUF כאן פורסמו ללא מקודד התמונה, כך שהשימוש בהם מוגבל לעבודה עם טקסט בלבד.

למה אי אפשר להריץ אותו ישירות מול llama.cpp בלי שרת נוסף?

התבנית שמיקרו־קוד של llama.cpp טוען אוטומטית לא מתאימה למבנה תגיות החשיבה של המודל הזה. היוצרים מבהירים שכדי לקבל תוצאות נכונות צריך להשתמש ב־mistral-common לטוקניזציה.

איך מריצים

כדי להריץ אותו כמו שצריך צריך שילוב של שני שרתים מקומיים: llama.cpp כדי לעבד את המשקולות, ושרת של mistral-common מגרסה 1.8.5 ומעלה שמטפל בטוקניזציה ומעביר את הבקשות. ההפרדה הזו הכרחית כי תבנית השיחה המובנית הרגילה לא מתאימה כאן, והיא עלולה לשבש את תגיות החשיבה.

מבחינת חומרה, קובץ בכימות כמו Q4_K_M נכנס בכרטיס מסך יחיד מסוג RTX 4090 או במחשב מק עם 32 גיגה זיכרון. אם אין לכם את החומרה הזו או שאתם חייבים יכולות ראייה וניתוח תמונה, אין סיבה להסתבך עם קובצי ה־GGUF האלה ועדיף לקרוא למודל המלא דרך שירות ענן.

ollama run hf.co/mistralai/Magistral-Small-2509-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

BF1647.2 GB Q8_025.1 GB Q5_K_M16.8 GB Q4_K_M14.3 GB

הקבצים

6 קבצים במאגר, 96.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות מופצים תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקבצים והפצה מחודשת שלהם בתוך מוצרים. הדרישה העיקרית היא לצרף עותק של הרישיון המקורי ומתן קרדיט ליוצרים, בלי דרישה לפתוח את הקוד של המוצר שבו אתם משלבים אותו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗