GPT
הוספת כלי
M

MiniCPM3-4B

קוד פתוח

openbmbapache-2.02024-09-03

  • transformers
  • pytorch
  • minicpm3
  • text-generation
  • conversational

מודל קומפקטי שמביא יכולות קריאת פונקציות וקוד למכשירים מקומיים. הוא מתמודד מול מודלים כבדים בהרבה ומחזיק חלון הקשר של 32 אלף טוקנים.

  • 32,768טוקנים בהקשר
  • 7.6 GBמשקל הקבצים
  • 22,210הורדות בחודש
  • 421לייקים

מה זה

מדובר במודל שפה קטן של כארבעה מיליארד פרמטרים, דור שלישי בסדרה, שנבנה לתת מענה במקומות שבהם אין מקום או תקציב לשרתים מפלצתיים. הוא מיועד למשימות יצירת טקסט, שיחה, והרצת קוד וקריאה לפונקציות חיצוניות ישירות מהפרומפט.

במבחני הביצועים הוא מתמודד ישירות מול מודלים בגודל 7 עד 9 מיליארד פרמטרים. במבחן BFCL v2 שמודד קריאת פונקציות הוא קיבל 76.0 ועקף את GPT-3.5 ואת רוב המתחרים בקטגוריה שלו. באנגלית הוא מעט חלש יותר במבחן MMLU עם 67.2 לעומת שאר הדגמים בטבלה, אבל במתמטיקה ובמבחני עמידה בהוראות כמו IFEVAL הוא נותן פייט רציני למודלים כפולים ממנו בגודל.

מתאים ל

  • סוכני קריאת פונקציות

    תוצאה של 76 ב־BFCL הופכת אותו למעולה להפעלת כלים ו־API מקומית.

  • אינטרפרטר קוד מקומי

    ציונים של מעל 68 ב־HumanEval+ מאפשרים כתיבה וניתוח קוד ישירות על החומרה שלכם.

  • עיבוד מסמכים באנגלית וסינית

    חלון של 32 אלף טוקנים מאפשר להזין טקסטים ארוכים בלי לקרוס בזיכרון.

איפה זה נופל

המודל תומך רשמית רק באנגלית ובסינית. אין פה שום התחייבות או אימון מכוון לעברית, ולכן ניסיון להריץ עליו שפה מקומית צפוי לייצר פלטים שבורים, איטיים או מבולבלים לחלוטין. בנוסף, חובה לבדוק כל פלט לפני שמעבירים אותו לפרודקשן, היוצרים מבהירים במפורש שאין לו יכולת שיפוט ושהוא עלול לפלוט שטויות. דרישת הקוד המרוחק בטעינה יוצרת גם כאב ראש אבטחתי שצריך לקחת בחשבון בסביבות סגורות.

שאלות
נפוצות

האם המודל מתאים לעבודה בעברית?

הכרטיס מצהיר על תמיכה באנגלית ובסינית בלבד. הוא לא אומן על עברית ולא הייתי בונה עליו ליישומים בעברית בלי אימון ייעודי משלכם.

אפשר להשתמש בו במוצר מסחרי בחינם?

כן, אבל זה דורש מעבר על תנאי רישיון המשקולות ומילוי טופס רישום מקוון מול היוצרים לפני ההפצה.

איך מריצים

כדי להריץ אותו צריך להוריד כמעט 8 גיגה בייט של משקולות בפורמט bfloat16. כרטיס מסך ביתי בודד עם 10 עד 12 גיגה זיכרון יספיק בשקט לעבודה שוטפת, וזה יתרון ענק למי שרוצה לעבוד לוקאלית על לפטופ פיתוח או שרת צנוע.

הוא דורש שימוש בפרמטר trust remote code בזמן הטעינה דרך transformers. מי שרוצה תפוקה מהירה יותר עם vLLM צריך להתקין גרסה מותאמת של המפתחים מגיטהאב ולא את הגרסה הרשמית. אם אין לכם כרטיס תואם או שאתם רק צריכים בדיקה זריזה, עדיף להשתמש בשרת ענן שכור לשעה במקום להסתבך עם התקנות מקומיות.

from transformers import pipeline

pipe = pipeline("text-generation", model="openbmb/MiniCPM3-4B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 7.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד בריפו מוגדר תחת apache-2.0, אבל המשקולות עצמן כפופות לתנאי רישיון נפרדים של MiniCPM. שימוש למחקר אקדמי חופשי לחלוטין. שימוש מסחרי מותר בחינם, אבל רק אחרי מילוי שאלון רישום ייעודי בקישור חיצוני, כך שאי אפשר סתם לזרוק אותו למוצר מסחרי בלי אישור ורישום מראש.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗