MiniCPM-2B-sft-fp32

מה זה

מדובר במודל שפותח בשיתוף בין חברת ModelBest למעבדת ה־NLP של אוניברסיטת צ'ינגחואה, ועבר כוונון להוראות. לפי נתוני המפתחים, במבחנים כלליים הוא מציג ביצועים שקרובים ל־Mistral-7B ואף עוקף אותו במשימות קוד, מתמטיקה ושפה סינית, לצד עדיפות על מודלים כבדים בהרבה כמו Llama2-13B או Falcon-40B.

המשמעות בפועל היא ניסיון לדחוס איכות של מודל בינוני לתוך ארכיטקטורה קלה של 40 שכבות. הגרסה הזו מגיעה בדיוק מלא של 32 ביט, מה שחריג למודל קצה שאמור לפעול על חומרה קלה, ותופס 10.2 גיגה-בייט על הדיסק במקום חצי מזה בפורמטים מכווצים יותר.

מתאים ל

• מחקר וניתוח משקלים

  דיוק מלא של 32 ביט מאפשר לבחון את המודל ישירות בלי עיוותים של קוונטיזציה.

• סביבות פיתוח סינית ואנגלית

  מתאים לעיבוד טקסט דו-לשוני ולפתרון בעיות קוד קצרות על חומרה מקומית.

• בסיס לכוונון עצמאי

  כרטיס מסך ביתי אחד מספיק כדי לאמן אותו מחדש על דאטה פנימי של החברה.

איפה זה נופל

המודל סובל מהזיות ורגיש מאוד לניסוח ההוראה, כך שאותה שאלה עשויה להניב תוצאות שונות לחלוטין בניסיונות עוקבים. בגלל שאימנו אותו על מאגר ShareGPT בלי אימון זהות ייעודי, הוא נוטה לחשוב ולהציג את עצמו כמודל של OpenAI. בנוסף, זיכרון הידע שלו מוגבל והוא תומך רשמית באנגלית וסינית בלבד, בלי שום התאמה או הבטחה לגבי עברית.

איך מריצים

כדי להריץ אותו דרך ספריית transformers מגרסה 4.36 ומעלה, חייבים לציין את סוג הנתונים כ־float32 ולהפעיל את trust_remote_code, אחרת המפתחים מזהירים משגיאות חישוב. בגלל הדיוק המלא, הוא דורש סביב 12 עד 16 גיגה-בייט של זיכרון כרטיס מסך, בעוד כרטיסי 1080 או 2080 מתאימים רק לכוונון עדין חלקי, וכרטיס כמו 3090 או 4090 נדרש לכוונון מלא.

המפתחים עצמם מציינים שאיכות הפלט דרך transformers נמוכה יותר בהשוואה להרצה תחת vLLM. אם אתם מחפשים מהירות או פריסה במכשיר קצה, אין סיבה לקחת את גרסת ה־fp32 כשיש גרסאות bf16 או איטרציות מכווצות ל־4 ביט, ואם המטרה היא סתם גישה מהירה לשפה בלי לנהל תשתית, עדיף לפנות ל־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="openbmb/MiniCPM-2B-sft-fp32")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 10.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin10.9 GB
• tokenizer.json6.2 MB
• tokenizer.model2.0 MB
• modeling_minicpm.py67.9 KB
• README.md11.9 KB
• configuration_minicpm.py9.8 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.1 KB
• config.json1.0 KB
• special_tokens_map.json414 B
• generation_config.json113 B

הרישיון

הקוד פתוח תחת רישיון Apache-2.0, אבל משקלי המודל כפופים לרישיון מותאם אישית שנקרא General Model License. שימוש מחקרי חופשי לחלוטין, אך שימוש מסחרי מותנה בפנייה בדוא"ל למפתחים וקבלת אישור בכתב, גם אם הרישום עצמו לא כרוך בתשלום. בלי אישור כזה אסור לשלב אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗