GPT
הוספת כלי
M

Mistral-Small-3.1-24B-Base-2503

קוד פתוח

mistralaiapache-2.02025-03-16

  • vllm
  • safetensors
  • mistral3
  • mistral-common
  • en

בסיס מולטימודלי של 24 מיליארד פרמטרים שמשלב תמונות וטקסט עם חלון גדול. הוא מיועד למי שרוצה לאמן או לכוונן מודל ראייה ושפה עצמאי משלו.

  • 24Bפרמטרים
  • 131,072טוקנים בהקשר
  • 89.5 GBמשקל הקבצים
  • 1,501הורדות בחודש

מה זה

מדובר במודל בסיס גולמי שמוסיף יכולות ראייה ועיבוד תמונה לצד טקסט, עם חלון הקשר של 128 אלף טוקנים. הוא משתמש בטוקנייזר מסוג Tekken עם אוצר מילים של 131 אלף מונחים, ותומך בעשרות שפות שונות.

במבחני ביצועים מול Gemma 3 27B, הוא עוקף אותו ברוב המדדים המשמעותיים. במבחן הידע האקדמי MMLU הוא מגיע ל־81.01% לעומת 78.60%, במבחן ההיגיון המורכב GPQA Main הוא משיג 37.50% מול 24.30%, ובמבחן הרב־תחומי של תמונה וטקסט MMMU הוא עומד על 59.27% מול 56.10%. היתרון היחיד של המתחרה היה ב־TriviaQA עם 81.30% לעומת 80.50% כאן.

מתאים ל

  • אימון מודל לתמונות ומסמכים

    בסיס חזק שמשלב הבנת תמונה עם יכולות טקסט גבוהות, שמתאים לכיוונון על דאטה ייעודי של תמונות ומסמכים.

  • הטמעה בארגונים עם מידע רגיש

    רישיון אפאצ'י פתוח מאפשר להריץ אותו מקומית על שרתים פנימיים בלי להוציא תמונות וטקסט לשירותי צד שלישי.

  • עיבוד קבצים חזותיים ארוכים

    חלון הקשר של 128 אלף טוקנים מאפשר להזין רצפי מידע ארוכים יחד עם נתונים חזותיים מורכבים.

איפה זה נופל

זהו מודל בסיס בלבד ולא מודל שעבר כיוונון הוראות. אם תתנו לו שאלה, הוא ינסה להמשיך את הטקסט ולא בהכרח יענה עליה, כך שהוא לא שמיש כצ'אטבוט מהקופסה. בנוסף, עברית כלל לא מופיעה ברשימת השפות הנתמכות בכרטיס המודל. לבסוף, מי שבונה על הספרייה הרגילה של transformers עלול להיתקל בבעיות, כי היא לא נבדקה בצורה יסודית על ידי המפתחים.

שאלות
נפוצות

האם המודל מתאים לשיחה ומענה על שאלות ישר מהקופסה?

לא. מדובר בגרסת Base בלבד ולא בגרסת Instruct שעברה כיוונון להבנת פקודות. להרצת צ'אט עדיף להוריד ישירות את Mistral-Small-3.1-24B-Instruct-2503.

האם המודל תומך בעברית לפי המפרט?

עברית לא מוזכרת ברשימת השפות הנתמכות בכרטיס המודל. הוא כולל תמיכה מוצהרת בשפות אירופיות, ערבית, פרסית ושפות אסייתיות, אך ללא ציון עברית.

איך מריצים

כדי להריץ אותו צריך ספריית vLLM מגרסה 0.8.1 ומעלה יחד עם חבילת mistral-common, או דרך אימג' הדוקר הרשמי שלהם. היוצרים מציינים במפורש שההטמעה של transformers לא נבדקה לעומק אלא רק ברמת בדיקות שטחיות, ולכן התנהגות תקינה מובטחת רק ב־vLLM.

מבחינת חומרה, קובצי המודל שוקלים 89.5 גיגה־בייט בפורמט bfloat16. זה אומר שתצטרכו לפחות שני כרטיסי A100 או H100 של 80 גיגה כדי להחזיק אותו בזיכרון יחד עם חלון ההקשר הגדול, או לחלופין לבצע קוונטיזציה. אם אין לכם את התשתית הזו ורק רציתם צ'אט שעונה לפקודות, כדאי לקחת ישירות את גרסת ה־Instruct במקום להסתבך עם הבסיס.

pip install -U huggingface_hub
hf download mistralai/Mistral-Small-3.1-24B-Base-2503

הקבצים

23 קבצים במאגר, 89.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, לבצע עליו אימונים נוספים ולהפיץ אותו בחופשיות. התנאי המרכזי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בתוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗