Mistral-Nemo-Base-2407

מה זה

הפיתוח המשותף של מיסטרל ואנבידיה מביא מודל בסיסי של 12 מיליארד פרמטרים שמיועד להחליף ישירות את Mistral 7B הישן. הוא תוכנן מראש להתמודד עם טקסטים ארוכים במיוחד של 131,072 טוקנים, וכולל אוצר מילים של כ־128 אלף טוקנים שמשפר את העבודה עם קוד ושפות שונות.

במבחנים של שאלות וידע כללי הוא מציג תוצאות טובות לגודל שלו, כמו 68% ב־MMLU ו־83.5% ב־HellaSwag. עם זאת, הוא נחלש כשמגיעים לעובדות ישירות, עם 31.2% בלבד ב־NaturalQuestions ו־50.3% ב־TruthfulQA, מה שמראה שהוא נוטה להמציא דברים כשהוא לא בטוח.

מתאים ל

• בסיס לכוונון עצמי

  נקודת מוצא מצוינת למי שרוצה לאמן מודל פנימי על נתונים ארגוניים או משימות ספציפיות.

• עיבוד מסמכים ארוכים

  חלון של 128K טוקנים מתאים לניתוח טקסטים שלמים, חוזים או מאגרי קוד גדולים.

• משימות קוד רב־לשוניות

  האימון כלל דגש חזק על קוד ומגוון שפות לצד אנגלית.

איפה זה נופל

זהו מודל בסיס נקי. אין לו שכבת שיחה, אין מנגנוני סינון ובטיחות, והוא לא עבר התאמה להוראות. אם תשאלו אותו שאלה, הוא ינסה להמשיך את הטקסט ולא בהכרח יענה עליה. עברית לא נכללת ברשימת השפות העיקריות שנבדקו בכרטיס, והציונים הנמוכים במבחני אמינות מראים שהוא עלול לפלוט שגיאות בביטחון רב אם לא מאמנים אותו מחדש.

איך מריצים

כדי להריץ אותו במשקל המקורי ב־bfloat16 תצטרכו כרטיס מסך חזק עם לפחות 32GB זיכרון, או עבודה עם vLLM לחלוקת עומסים, שכן הקבצים שוקלים 45.7GB. אפשר להפעיל אותו עם mistral-inference, transformers או דרך NeMo של אנבידיה. שימו לב שהיוצרים ממליצים להוריד טמפרטורה לאזור 0.3 כדי לקבל תוצאות יציבות.

אם אתם רק רוצים צ'אט שעובד מיד או שאין לכם כרטיסי מסך מתאימים מקומית, עדיף להשתמש בגרסת ה־Instruct שלו או לפנות ל־API, כי להחזיק תשתית כזו בשביל מודל בסיס דורש התעסקות רבה.

pip install -U huggingface_hub
hf download mistralai/Mistral-Nemo-Base-2407

הקבצים

18 קבצים במאגר, 45.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• consolidated.safetensors24.5 GB
• model-00003-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.9 GB
• model-00002-of-00005.safetensors4.9 GB
• model-00005-of-00005.safetensors4.9 GB
• model-00001-of-00005.safetensors4.9 GB
• tekken.json14.8 MB
• tokenizer.json9.3 MB
• merges.txt3.1 MB
• vocab.json2.5 MB
• tokenizer_config.json177.1 KB
• model.safetensors.index.json29.9 KB
• README.md5.2 KB
• .gitattributes1.6 KB
• config.json622 B
• special_tokens_map.json414 B
• params.json243 B
• generation_config.json116 B

הרישיון

הקוד והמשקולות מפורסמים תחת רישיון apache-2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, לאמן עליו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת הרישיון המקורית ומציינים שינויים אם נעשו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗