MiniCPM4-8B

מה זה

המודל פותח על ידי openbmb ואומן על 8 טריליון טוקנים באנגלית ובסינית. המיקוד המרכזי כאן אינו סתם עוד מודל גנרי אלא יעילות ביצועים, בייחוד דרך מנגנון קשב דליל בשם InfLLM v2. המנגנון הזה מחשב קשרים רק מול פחות מ־5% מהטוקנים ברצפים ארוכים, מה שחוסך משאבי זיכרון וחישוב שמעמיסים בדרך כלל על מודלים בגודל כזה.

המפתחים מציגים נתוני מהירות שמראים יתרון ניכר על פני חלופות באותו סדר גודל. על גבי מעבד Jetson AGX Orin, המודל מציג מהירות פענוח גבוהה פי 7 בהשוואה ל־Qwen3-8B. חלון ההקשר הטבעי עומד על 32,768 טוקנים, כאשר החוקרים מדווחים על יכולת הרחבה עד 131,072 טוקנים באמצעות מנגנון LongRoPE ומבחני שליפה מוצלחים באורך 128K.

מתאים ל

• עיבוד מסמכים ארוכים באנגלית

  מנגנון הקשב הדליל מנתח טקסטים עד 128K טוקנים במהירות גבוהה ובמינימום משאבי חישוב.

• הרצה על חומרת קצה

  התאמה למעבדים כמו Jetson AGX Orin מאפשרת עיבוד מקומי ללא תלות בשרתים מרוחקים.

• הפעלת כלים ואינטגרציות

  האימון כולל נתוני קריאה לכלים ומערכות מבוססות MCP לעבודה אוטונומית.

איפה זה נופל

המודל אומן והוגדר רשמית רק עבור סינית ואנגלית, כך שאין שום הבטחה או בדיקה לגבי תפקודו בעברית. בנוסף, מנגנון הקשב הדליל מחייב תלויות ייעודיות וקוד חיצוני מקומפל, מה שעלול לייצר חיכוך בסביבות פיתוח סטנדרטיות. היוצרים מציינים במפורש שהפלט עלול לכלול תוכן שגוי ודורש אימות עצמאי, ללא הבנה או שיפוט אמיתי מצד המודל.

אותה משפחה

MiniCPM4 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל של כ־15.3 גיגה־בייט בדיוק bfloat16, תצטרכו כרטיס מסך בעל 24 גיגה־בייט זיכרון כמו RTX 4090 כדי להריץ אותו בנוחות יחד עם context מלא, או פלטפורמת קצה תואמת דוגמת Jetson AGX Orin.

אפשר להריץ אותו דרך vLLM או SGLang, אך מי שרוצה לסחוט את יתרונות הקשב הדליל יצטרך לקמפל את ספריית infllmv2_cuda_impl או להשתמש במנוע ה־CUDA הייעודי CPM.cu. אם אתם לא מחזיקים בחומרה מתאימה מקומית, ההתקנה של הספריות הייעודיות עשויה להיות מסורבלת ועדיף להשתמש במודל מרוחק דרך API.

from transformers import pipeline

pipe = pipeline("text-generation", model="openbmb/MiniCPM4-8B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 15.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.7 GB
• tokenizer.json6.7 MB
• tokenizer.model1.2 MB
• modeling_minicpm.py107.7 KB
• model.safetensors.index.json23.9 KB
• README.md20.6 KB
• configuration_minicpm.py9.7 KB
• config.json3.7 KB
• tokenizer_config.json2.8 KB
• .gitattributes1.5 KB
• special_tokens_map.json630 B
• added_tokens.json216 B
• generation_config.json182 B

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי והפצה של המשקולות והקוד, ללא תמלוגים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שאתם מפיצים במוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗