Kimi-K2-Base

מה זה

מדובר במשקולות הבסיס הלא מכווננות של Kimi K2, מודל שמבוסס על ארכיטקטורת DeepSeek V3 עם 384 מומחים שמתוכם 8 נבחרים בכל טוקן, לצד מומחה משותף אחד. האימון הראשוני שלו נעשה על 15.5 טריליון טוקנים בעזרת אופטימייזר בשם MuonClip כדי לשמור על יציבות בסדרי גודל כאלה. חלון ההקשר מגיע ל־128 אלף טוקנים, מה שמאפשר להזין מסמכים ארוכים או קוד נרחב.

במבחני בסיס הוא מציג יתרון ברור על פני מודלים פתוחים אחרים. במתמטיקה מול מודלי בסיס מקבילים הוא הוציא 70.2 ב־MATH לעומת 60.1 של DeepSeek V3 Base, ובקוד ב־EvalPlus הוא עומד על 80.3 לעומת 65.6. המשמעות בפועל היא יכולת הבנה אלגוריתמית וטקסטואלית גולמית יוצאת דופן עוד לפני שעבר כוונון להוראות, מה שחוסך הרבה עבודה בשלבי האימון הבאים.

מתאים ל

• אימון מודל פנימי

  נקודת פתיחה חזקה מאוד לחברות שרוצות לאמן מודל משלהן על דאטה פנימי עם בסיס מתמטיקה וקוד גבוה במיוחד.

• מחקר ארכיטקטורת מומחים

  חקר התנהגות של 384 מומחים ומנגנון Muon בסדרי גודל של טריליון פרמטרים על גבי תשתית מבוססת DeepSeek V3.

• יצירת סוכן קוד ייעודי

  בניית כלי לפיתוח קוד אחרי כוונון עצמאי, תוך ניצול תוצאת הבסיס הגבוהה ב־EvalPlus וחלון של 128K.

איפה זה נופל

זהו מודל בסיס, מה שאומר שהוא לא יודע לנהל שיחה, לא מציית לפקודות בצורה מסודרת וימשיך לכתוב טקסט סטטיסטי במקום לענות לשאלות. אסור לחבר אותו ישירות למוצר בלי לעשות לו קודם כוונון להוראות או התאמה ממוקדת. בנוסף, במבחן GPQA-Diamond שבודק שאלות מדעיות קשות ברמת מומחה, מודל הבסיס קיבל 48.1 לעומת 50.5 של DeepSeek V3 Base, כך שבתחומים מדעיים מסוימים הוא דווקא מפגר מאחור. אין גם שום נתון רשמי לגבי ביצועים בשפות שאינן אנגלית או סינית.

אותה משפחה

Kimi-K2 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־959 גיגה־בייט בדיוק bfloat16, כך שאין שום דרך להריץ אותו על שרת בודד פשוט. תצטרכו אשכול של שרתי GPU עם זיכרון כולל של טרה־בייט לפחות רק בשביל לטעון את המשקולות, לצד תמיכה במנועי הרצה כמו vLLM, SGLang, KTransformers או TensorRT-LLM שמבינים את הארכיטקטורה הזו.

אם אין לכם תשתית ענן ארגונית ייעודית ותקציב כבד, אין היגיון להוריד אותו. למטרות בדיקה, שיחה או שימוש מהיר בכלים, גרסת ה־Instruct שזמינה ב־API של Moonshot AI תעלה שבריר מהמחיר ותחסוך את כאב הראש של ניהול חומרה מורכבת.

from transformers import pipeline

pipe = pipeline("text-generation", model="moonshotai/Kimi-K2-Base")
print(pipe("שלום"))

הקבצים

78 קבצים במאגר, 959 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-61-of-61.safetensors19.4 GB
• model-11-of-61.safetensors17.1 GB
• model-12-of-61.safetensors17.1 GB
• model-13-of-61.safetensors17.1 GB
• model-14-of-61.safetensors17.1 GB
• model-15-of-61.safetensors17.1 GB
• model-16-of-61.safetensors17.1 GB
• model-17-of-61.safetensors17.1 GB
• model-18-of-61.safetensors17.1 GB
• model-19-of-61.safetensors17.1 GB
• model-20-of-61.safetensors17.1 GB
• model-21-of-61.safetensors17.1 GB
• model-22-of-61.safetensors17.1 GB
• model-23-of-61.safetensors17.1 GB
• model-24-of-61.safetensors17.1 GB
• model-25-of-61.safetensors17.1 GB
• model-26-of-61.safetensors17.1 GB
• model-27-of-61.safetensors17.1 GB
• model-28-of-61.safetensors17.1 GB
• model-29-of-61.safetensors17.1 GB
• model-30-of-61.safetensors17.1 GB
• model-31-of-61.safetensors17.1 GB
• model-32-of-61.safetensors17.1 GB
• model-33-of-61.safetensors17.1 GB
• model-34-of-61.safetensors17.1 GB
• model-35-of-61.safetensors17.1 GB
• model-36-of-61.safetensors17.1 GB
• model-37-of-61.safetensors17.1 GB
• model-38-of-61.safetensors17.1 GB
• model-39-of-61.safetensors17.1 GB
• model-40-of-61.safetensors17.1 GB
• model-41-of-61.safetensors17.1 GB
• model-42-of-61.safetensors17.1 GB
• model-43-of-61.safetensors17.1 GB
• model-44-of-61.safetensors17.1 GB
• model-45-of-61.safetensors17.1 GB
• model-46-of-61.safetensors17.1 GB
• model-47-of-61.safetensors17.1 GB
• model-48-of-61.safetensors17.1 GB
• model-49-of-61.safetensors17.1 GB

הרישיון

הרישיון מוגדר ברישום כ־other, ובתיעוד המודל מצוין קישור לרישיון MIT מותאם אישית (Modified MIT). המשמעות היא שזה לא רישיון קוד פתוח סטנדרטי וחופשי לחלוטין. לפני שילוב שלו במוצר מסחרי או הפצה פנימית, חובה לפתוח את קובץ התנאים הרשמי במאגר ולבדוק מה המגבלות המסחריות שהחברה הוסיפה שם.

הרישיון המלא בעמוד המודל ↗