internlm3-8b-instruct

מה זה

המודל מיועד לייצור טקסט ולהוראות שיחה, עם דגש מפורש על פתרון בעיות לוגיות מורכבות. המפתחים בנו בו שני מצבי עבודה שונים: מצב שיחה רגיל לתגובות שוטפות, ומצב חשיבה עמוקה שמשתמש בשרשרת מחשבה ארוכה כדי לפתור אתגרים מתמטיים ומדעיים.

במבחנים כמו MATH-500 ו־AIME2024 המודל עוקף מתחרים ישירים כמו Llama3.1-8B ו־Qwen2.5-7B כשמפעילים את מצב החשיבה, עם ציון 83.0 לעומת 72.4 של המתחרה הסיני. במבחני שיחה כלליים הוא מציג יתרון מסוים במעקב אחר הנחיות קשיחות עם 79.3 ב־IFEval, אך בכתיבת קוד בסיסית ב־HumanEval הוא מעט נמוך מ־Qwen.

מתאים ל

• פתרון בעיות מתמטיקה

  מצב החשיבה מספק ציונים גבוהים במיוחד ב־MATH-500 ופותר משוואות מורכבות.

• עוזר שיחה מקומי

  רץ ישירות ב־Ollama ומאפשר צ'אט שוטף על חומרה מקומית ללא תלות ברשת.

• מעקב אחר הוראות מדויקות

  משיג תוצאה טובה במבחן IFEval ומתאים לייצור פלט מובנה לפי כללים קפדניים.

איפה זה נופל

היוצרים מזהירים מראש שהמודל עלול לייצר פלט מוטה, פוגעני או בלתי צפוי עקב אופיו ההסתברותי והגודל המוגבל שלו. בנוסף, המבחנים מראים ביצועי קוד צנועים יחסית של 17.8 ב־LiveCodeBench, וההישגים הגבוהים במתמטיקה מותנים בהפעלת שרשרת חשיבה ארוכה שמאטה את קצב התשובה ומנפחת את כמות הטוקנים שנוצרים. בעברית אין לגביו נתונים רשמיים, מה שמחייב בדיקה מקדימה לפני שמשלבים אותו במוצר.

איך מריצים

כדי להריץ אותו מקומית צריך מאיץ גרפי עם לפחות 24GB זיכרון וידאו עבור משקלי bfloat16 מלאים, או פחות מזה אם מפעילים דחיסה. המודל נתמך ישירות בכלים פופולריים כמו vLLM, LMDeploy ו־Ollama, ודורש גרסת transformers מודרנית מ־4.48 ומעלה כדי להיטען כראוי דרך הקוד.

אם אין לכם שרת ייעודי או כרטיס מתאים, שווה לפנות לממשקי API מוכנים ברשת. הרצה עצמית משתלמת כשיש חומרה מקומית קיימת ורוצים פרטיות מלאה או שליטה ידנית בהגדרות הדגימה ופרומפט המערכת של מצב החשיבה.

pip install -U huggingface_hub
hf download internlm/internlm3-8b-instruct

הקבצים

14 קבצים במאגר, 16.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors9.9 GB
• model-00002-of-00002.safetensors7.7 GB
• tokenizer.model2.5 MB
• modeling_internlm3.py56.4 KB
• README.md39.9 KB
• model.safetensors.index.json35.8 KB
• tokenization_internlm3.py13.2 KB
• LICENSE.txt11.4 KB
• configuration_internlm3.py10.5 KB
• tokenizer_config.json5.7 KB
• .gitattributes1.5 KB
• config.json1.0 KB
• special_tokens_map.json1.0 KB
• generation_config.json124 B

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והפצה של המשקלים. מותר לשלב אותו במוצרים סגורים ולמכור גישה אליהם, בתנאי ששומרים על הודעת הרישיון המקורית ומציינים את זכויות היוצרים של המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗