MiniCPM5-1B-GGUF
קוד פתוחopenbmbapache-2.02026-05-24
זה מודל קטן שרץ ישירות על המחשב ומספק תמיכה בהפעלת כלים, כתיבת קוד וחשיבה מורכבת. הוא מיועד למי שמחפש ביצועים מקומיים בלי להחזיק שרת יקר.
- 3.7 GBמשקל הקבצים
- 36,558הורדות בחודש
- 252לייקים
מה זה
מדובר במודל שפה קומפקטי מסוג Causal LM שמבוסס על ארכיטקטורת Llama רגילה, מה שאומר שהוא נתמך מהקופסה כמעט בכל תשתית בלי צורך במימושים מיוחדים. למרות הגודל המצומצם שלו, הוא מגיע עם חלון הקשר של 131,072 תווים ומצב חשיבה מובנה שאפשר להדליק או לכבות ישירות בתבנית השיחה, כך שהוא משמש גם כעוזר מהיר וגם לפתרון בעיות שדורשות חשיבה מעמיקה.
היוצרים אימנו אותו בשילוב של למידת חיזוק וזיקוק מדיניות, תהליך שהעלה את הציון שלו במשימות קוד, מתמטיקה ומעקב אחר הוראות ב־16 נקודות בממוצע לעומת שלבי האימון המוקדמים. שיפור בולט נוסף הוא ירידה של 29 אחוזי פער במקרים שבהם המודל נתקע ומייצר תשובות ארוכות מדי שחורגות מתקרת הטוקנים. בהשוואה למתחרים באותו סדר גודל כמו גרסאות קטנות של Qwen, הוא מציג יתרון בעיקר בהפעלת כלים והסקה לוגית.
מתאים ל
- סוכן קוד מקומי
הוא מיועד להרצה על המחשב האישי ומציג יכולות כתיבת קוד והפעלת כלים שעולות על חלופות בגודל דומה.
- סייען שיחה למכשיר קצה
דרישות החומרה הנמוכות ומצב החשיבה המובנה מאפשרים מענה זריז ומקומי בלי תלות ברשת.
- ניתוח מסמכים ארוכים
חלון הקשר של 131 אלף טוקנים מאפשר להזין טקסטים רחבים ישירות לזיכרון של מודל קל משקל.
איפה זה נופל
המודל מוגדר רשמית לתמיכה באנגלית ובסינית בלבד, כך שאין לצפות לביצועים סבירים בעברית. מעבר לכך, מדובר במודל של מיליארד פרמטרים שמתבסס על דפוסים סטטיסטיים, והיוצרים מציינים במפורש שהוא עלול לייצר מידע לא מדויק, מוטה או לא בטוח. לא מומלץ לשלב אותו במערכות קריטיות ללא בדיקה קפדנית של התוצרים.
אותה משפחה
MiniCPM5 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה לעיבוד טקסט בעברית?
הכרטיס מציין רשמית תמיכה באנגלית ובסינית בלבד. סביר להניח שהיכולת שלו בעברית תהיה ירודה מאוד עד לא שמישה.
איך מפעילים את יכולת החשיבה שלו בזמן הרצה?
הדבר נקבע באמצעות פרמטר בשם enable_thinking בתבנית השיחה. כשהוא מופעל מומלץ להשתמש בטמפרטורה של 0.9, וכשהוא כבוי בטמפרטורה של 0.7.
איך מריצים
הגרסה הזו מגיעה בפורמט GGUF, כך שהיא מיועדת להרצה ישירה דרך llama.cpp, Ollama או LM Studio. מודל בגודל כזה ירוץ בקלות על מעבד רגיל, לפטופ עם מעבדי אפל, או כרטיס מסך בסיסי עם מעט זיכרון, בלי להזדקק לחוות שרתים.
אם השימוש שלכם דורש בעיקר הפעלת פונקציות וכלים חיצוניים, המפתחים ממליצים להריץ אותו דרך מנוע SGLang שיודע לתרגם את תחביר ה־XML של המודל לתבנית המקובלת של OpenAI. אין צורך לפנות ל־API חיצוני כשהדרישה היא מקומית, אלא אם אתם צריכים לטפל בעומס עצום של משתמשים במקביל או במשימות שפה מסובכות במיוחד שדורשות מודלי ענק.
ollama run hf.co/openbmb/MiniCPM5-1B-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 3.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל משוחרר תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של המשקלים והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אפשר לשלב אותו במוצר מסחרי בלי לשלם תמלוגים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים