MiMo-7B-Base

מה זה

מדובר במודל יסוד עם 7.8 מיליארד פרמטרים שפותח כדי לפתור את צוואר הבקבוק של מודלים קטנים בהסקה לוגית. בדרך כלל שיפורי חיזוק מתמטיים מגיעים במודלים של 32 מיליארד פרמטרים ומעלה, אך כאן שיאומי אימנו את המודל מאפס על כ־25 טריליון טוקנים עם דגש חזק על דאטה סינתטי ודפוסי חשיבה.

התוצאות במבחנים מדגימות בדיוק את הפער בין מודל בסיס למודל מכוונן. במבחן המתמטיקה MATH500 הוא מקבל 37.4 אחוזים בלבד, ובמבחן הקוד LiveCodeBench v5 הוא מגיע ל־32.9 אחוזים. המספרים האלה מראים שהוא עדיין לא יודע לפתור בעיות מורכבות בצורה מונחית, אך הוא כולל שכבות לחיזוי מרובה טוקנים שמאיצות הסקה בשיעור קבלה של כ־90 אחוזים.

מתאים ל

• אימון מודל חשיבה ייעודי

  הוא אומן על 25 טריליון טוקנים ומציג פוטנציאל גבוה מאוד לשיפור דרך למידת חיזוק.

• מחקר על חיזוי טוקנים

  הארכיטקטורה כוללת שכבות MTP מובנות שמגיעות לשיעור קבלה של 90 אחוזים בבדיקות.

• התאמה למשימות קוד וחישוב

  סינון הנתונים באימון המוקדם התמקד בצפיפות גבוהה של מבני לוגיקה ומתמטיקה.

איפה זה נופל

זהו מודל בסיס ולא מודל צ'אט, ולכן הוא לא יודע לנהל שיחה, לציית להוראות מורכבות או לסרב לבקשות בעייתיות. בלי אימון SFT או למידת חיזוק התשובות שלו יהיו בעיקר השלמת טקסט גולמית. בנוסף, חלון ההקשר עומד על 32,768 טוקנים ואין בכרטיס המודל שום בדיקה או התייחסות לעבודה בשפה העברית.

אותה משפחה

MiMo יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בצורה מקומית בבטחה צריך כרטיס מסך יחיד עם 24 גיגה זיכרון, דוגמת RTX 3090 או RTX 4090, שכן המשקלים בפורמט bfloat16 תופסים כ־15 גיגה לפני שמחשבים את זיכרון ההקשר.

ההרצה נתמכת ישירות בספריית transformers וגם במנועי SGLang או בגרסה ייעודית של vLLM שמנצלת את מנגנון ה־MTP. אם אתם מחפשים מענה ישיר לשאלות של משתמשים בלי לאמן מודל בעצמכם, עדיף לפנות לגרסת ה־RL המוכנה או לשירות ענן חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="XiaomiMiMo/MiMo-7B-Base")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 14.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors4.0 GB
• model-00001-of-00004.safetensors4.0 GB
• model-00003-of-00004.safetensors4.0 GB
• model-00004-of-00004.safetensors3.7 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json37.0 KB
• README.md15.7 KB
• tokenizer_config.json7.2 KB
• modeling_mimo.py3.5 KB
• .gitattributes1.5 KB
• config.json988 B
• configuration_mimo.py376 B
• generation_config.json138 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו מחדש ולשלב אותו במוצרים סגורים בלי תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗