Mistral-Nemo-Instruct-2407

מה זה

מדובר בגרסת הוראות שנבנתה על בסיס משותף עם אנבידיה, במטרה לתת מענה בין מודלים זעירים לבין מפלצות ענק. הארכיטקטורה שלו כוללת 40 שכבות, מילון של כ־128 אלף מונחים ומנגנון Grouped Query Attention שמייעל את זיכרון הריצה. היצרנים ייעדו אותו לשמש שדרוג ישיר למי שמשתמש עדיין ב־Mistral 7B הישן יותר.

במבחני ביצועים הוא מציג תוצאות טובות למדי ביחס לגודלו. ב־MMLU הכללי הוא מגיע ל־68.0 אחוזים, ובמבחני היגיון כמו HellaSwag הוא עומד על 83.5 אחוזים. עם זאת, במענה על שאלות ידע ישיר ללא עזרה ב־NaturalQuestions הוא מקבל רק 31.2 אחוזים, מה שאומר שהוא מתקשה לשלוף עובדות יבשות מהזיכרון שלו ללא הקשר מצורף. בשפות שאינן אנגלית, כמו צרפתית, ספרדית או גרמנית, הוא שומר על רמה של מעל 60 אחוזים בבדיקות דומות.

מתאים ל

• ניתוח מסמכים ארוכים

  חלון של 128 אלף טוקנים מאפשר לקרוא קבצי קוד שלמים או חוזים גדולים בפעימה אחת.

• הפעלת פונקציות וכלים

  המודל כולל תמיכה מובנית בזיהוי וקריאת כלים בפורמט מוגדר מראש.

• תרגום שפות אירופיות

  אימון ייעודי על ספרדית, צרפתית וגרמנית נותן תוצאות מדויקות יותר מדגמי 7B.

איפה זה נופל

היוצרים מבהירים כי מדובר בהדגמה מהירה של יכולות הכוונון, ולמודל אין שום מנגנוני סינון או בקרת תוכן מובנים. הוא עלול לפלוט תוכן פוגעני או רעיל ללא מעטפת הגנה עצמאית שתבנו סביבו. בנוסף, רשימת השפות הנתמכות רשמית אינה כוללת עברית, והיא ממוקדת בשפות מערב אירופיות, רוסית, סינית ויפנית.

איך מריצים

כדי להריץ את המודל במלואו בדיוק המקורי של bfloat16, תצטרכו כרטיס מסך עם לפחות 30 עד 32 גיגה זיכרון גרפי פנוי, או שילוב כרטיסים. גודל הקבצים להורדה עומד על 45.7 גיגהבייט. אפשר להריץ אותו דרך ספריית mistral-inference הייעודית, דרך transformers של האגינג פייס או באמצעות vLLM ו־NeMo של אנבידיה. שימו לב שהחברה ממליצה במפורש להוריד את הטמפרטורה לאזור 0.3.

אם אין לכם שרת עם A100 או כרטיסים מקצועיים מתאימים, אין טעם להיאבק בהרצה מקומית מלאה ללא כימות. במקרים כאלה עדיף לגשת לגרסה מכומתת או לפנות ל־API חיצוני, במיוחד אם מתכוונים לנצל את כל חלון ההקשר העצום שלו שמכביד מאד על הזיכרון.

pip install -U huggingface_hub
hf download mistralai/Mistral-Nemo-Instruct-2407

הקבצים

18 קבצים במאגר, 45.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• consolidated.safetensors24.5 GB
• model-00003-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.9 GB
• model-00002-of-00005.safetensors4.9 GB
• model-00005-of-00005.safetensors4.9 GB
• model-00001-of-00005.safetensors4.9 GB
• tekken.json14.8 MB
• tokenizer.json9.3 MB
• merges.txt3.1 MB
• vocab.json2.5 MB
• tokenizer_config.json181.3 KB
• model.safetensors.index.json29.9 KB
• README.md10.5 KB
• .gitattributes1.6 KB
• config.json622 B
• special_tokens_map.json414 B
• params.json243 B
• generation_config.json116 B

הרישיון

המודל שוחרר תחת רישיון Apache 2.0 המלא. זהו רישיון קוד פתוח מתירני מאוד שמאפשר שימוש מסחרי, שינוי קוד, הפצה מחדש ושילוב בתוך מוצרים סגורים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗