MiMo-7B-RL

מה זה

שיאומי אימנו את המודל הזה מאפס על עשרים וחמישה טריליון טוקנים עם דגש מובהק על פתרון בעיות, והמשיכו לחיזוק באמצעות למידת חיזוק על 130 אלף שאלות במתמטיקה ותכנות שנבדקות בקוד. בנוסף, הוא כולל מנגנון חיזוי מרובה טוקנים מובנה שמאיץ את ההסקה, עם אחוז קבלה מדווח של תשעים אחוזים בשכבת הניחוש.

במדדי קוד ומתמטיקה הוא עוקף מודלים פתוחים כבדים ממנו בהרבה. במבחן AIME 2024 הוא מגיע לציון 68.2 ובמבחן LiveCodeBench v5 לציון 57.8, שניהם מעל לתוצאות של מודלים בגודל 14B ו־32B מאותה תקופה. המשמעות בפועל היא שהוא מסוגל להפיק אלגוריתמים מורכבים ולפתור משוואות בלי שתצטרכו להחזיק שרת כבד, כל עוד המשימה מוגדרת היטב סביב לוגיקה נוקשה.

מתאים ל

• פתרון אלגוריתמים ואתגרי קוד

  משיג 57.8 במדד LiveCodeBench v5, מה שמאפשר לו לייצר קוד מורכב ביעילות של מודל ענק על גבי חומרה מקומית צנועה.

• פתרון בעיות מתמטיות מדויקות

  עם ציון 95.8 ב־MATH500, הוא מצטיין בפיצוח שלבי חישוב והוכחות שדורשים לוגיקה מסודרת שנבדקת לפי חוקים קבועים.

• הסקה מהירה בתקציב מחשוב נמוך

  שכבת ה־MTP המובנית מקצרת את זמני הפלט וחוסכת בעלויות תשתית למשימות הנדסיות שרצות ברקע.

איפה זה נופל

המודל הזה עבר אופטימיזציה צרה מאוד. במבחני הבנה כלליים הוא מציג חולשה ברורה, כמו ציון 61.0 בלבד ב־IF-Eval וציון 58.6 ב־MMLU-Pro, שנופלים באופן משמעותי ממודלים מובילים בגודל מלא.

זה אומר שהוא לא מתאים לשיחה כללית, סיכום טקסטים או עבודה שמבוססת על היצמדות להוראות עימוד מורכבות. בנוסף, הכרטיס מציין המלצה מפורשת להשאיר את שורת ההנחיה של המערכת ריקה, מה שמגביל את היכולת שלכם להגדיר לו סגנון או דמות מראש.

אותה משפחה

MiMo יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל בפורמט bfloat16 תופס קצת פחות מ־15 גיגהבייט. כרטיס בודד של 24 גיגהבייט זיכרון כמו RTX 3090 או 4090 יספיק כדי לטעון אותו ולשמור מקום לחלון הקשר סביר.

אפשר להריץ אותו דרך ספריית transformers הרגילה, אבל החברה ממליצה על שימוש במזלג ייעודי שלהם ל־vLLM או בהתקנה מהענף הראשי של SGLang. מנועים אלה מאפשרים לנצל את שכבת הניחוש המובנית להאצת הקריאה. אם אתם לא מחזיקים כרטיס גרפי מתאים בענן או מקומית, החזקת מכונה ייעודית בשבילו תהיה יקרה יותר מקריאה למודל מסחרי דרך ממשק חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="XiaomiMiMo/MiMo-7B-RL")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 14.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors4.0 GB
• model-00001-of-00004.safetensors4.0 GB
• model-00003-of-00004.safetensors4.0 GB
• model-00004-of-00004.safetensors3.7 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json37.0 KB
• README.md15.7 KB
• tokenizer_config.json7.2 KB
• modeling_mimo.py3.5 KB
• .gitattributes1.5 KB
• config.json1.0 KB
• configuration_mimo.py376 B
• generation_config.json138 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים ולשלב אותו במוצרים פרטיים ללא תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗