Mixtral-8x7B-Instruct-v0.1

מה זה

מדובר במודל מבוסס תערובת מומחים דלילה שכולל קרוב ל־47 מיליארד פרמטרים בסך הכול, אבל מפעיל רק חלק קטן מהם בכל צעד חישוב. Mistral AI מדווחים שהוא עוקף את Llama 2 70B ברוב המבחנים שהם בדקו, מה שאומר שאתם מקבלים איכות תשובות של מודל ענק עם זמני תגובה מהירים בהרבה.

הוא עבר כוונון ייעודי להבנת הוראות ושיחה, ומגיע עם תמיכה בחלון הקשר של 32,768 טוקנים. מעבר לאנגלית, המודל אומן ותומך ישירות בצרפתית, איטלקית, גרמנית וספרדית. אין כאן תמיכה רשמית בעברית, ולכן פניות בעברית ייצרו פלט פחות עקבי או ידרשו מכם תרגום מקדים.

מתאים ל

• בוטים באנגלית ואירופאיות

  הוא מציג הבנה טובה של שפות אירופיות ומחזיר תשובות מהירות יחסית לגודל שלו בזכות חלוקת המומחים.

• ניתוח מסמכים בינוניים

  חלון הקשר של מעל 32 אלף טוקנים מאפשר להזין טקסטים ארוכים ולחלץ מהם תובנות או סיכומים.

• שרת פנימי מאובטח

  רישיון אפאצ'י מאפשר לטעון אותו בשרתי החברה דרך vLLM ולעבד מידע רגיש בלי לשלוח שום דבר החוצה.

איפה זה נופל

היוצרים מגדירים את גרסת ה־Instruct הזו כהדגמה מהירה של יכולות הכוונון, והם כותבים מפורשות שאין במודל שום מנגנוני סינון או מודרציה. זה אומר שהוא עלול לייצר פלטים רעילים, מוטים או בעייתיים בלי שום חסימה מובנית.

בנוסף, הוא רגיש מאוד לפורמט הפנייה. הכרטיס מזהיר שחייבים להקפיד בדיוק על תבנית ההוראות עם התגיות הייעודיות, אחרת האיכות של התשובות יורדת בצורה מורגשת. אם המוצר שלכם פונה לקהל רחב, תצטרכו לבנות שכבת בדיקות וסינון משלכם לפני החשיפה למשתמשים.

אותה משפחה

Mixtral יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו כמו שהוא בדיוק bfloat16 או float16, תצטרכו הורדה של 177 גיגה בייט וכמות מכובדת של זיכרון גרפי, לפחות שני כרטיסי A100 או מקבילים של 80 גיגה בייט כדי להחזיק את כל המשקלים וההקשר. אפשר לכווץ את הדרישות דרך קוונטיזציה של 4 ביט או 8 ביט באמצעות bitsandbytes, או לטעון אותו בעזרת Flash Attention 2 וספריית vLLM כדי לשרת פניות ביעילות סבירה.

אם אין לכם שרת ייעודי כזה פועל כל הזמן, העלות של החזקת החומרה תהיה כבדה מאוד. במצב כזה עדיף לשלם לפי קריאה ל־API מנוהל שמגיש אותו, ולשמור את ההרצה העצמית רק למקרים שבהם המידע חייב להישאר אצלכם בשרת בגלל פרטיות.

pip install -U huggingface_hub
hf download mistralai/Mixtral-8x7B-Instruct-v0.1

הקבצים

36 קבצים במאגר, 177 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• consolidated.02.pt12.1 GB
• consolidated.03.pt12.1 GB
• consolidated.04.pt12.1 GB
• consolidated.05.pt12.1 GB
• consolidated.06.pt12.1 GB
• consolidated.07.pt12.1 GB
• consolidated.00.pt12.1 GB
• consolidated.01.pt12.1 GB
• model-00008-of-00019.safetensors5.0 GB
• model-00009-of-00019.safetensors5.0 GB
• model-00011-of-00019.safetensors5.0 GB
• model-00012-of-00019.safetensors5.0 GB
• model-00013-of-00019.safetensors5.0 GB
• model-00015-of-00019.safetensors5.0 GB
• model-00016-of-00019.safetensors5.0 GB
• model-00018-of-00019.safetensors5.0 GB
• model-00002-of-00019.safetensors5.0 GB
• model-00003-of-00019.safetensors5.0 GB
• model-00005-of-00019.safetensors5.0 GB
• model-00006-of-00019.safetensors5.0 GB
• model-00007-of-00019.safetensors4.9 GB
• model-00010-of-00019.safetensors4.9 GB
• model-00014-of-00019.safetensors4.9 GB
• model-00017-of-00019.safetensors4.9 GB
• model-00004-of-00019.safetensors4.9 GB
• model-00001-of-00019.safetensors4.9 GB
• model-00019-of-00019.safetensors4.2 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json92.7 KB
• README.md8.7 KB
• tokenizer_config.json2.1 KB
• .gitattributes1.5 KB
• config.json720 B
• special_tokens_map.json414 B
• generation_config.json116 B

הרישיון

המודל שוחרר ברישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי מלא, שינוי של המשקלים, שילוב במוצרים פרטיים והפצה מחדש. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי תמלוגים או חובת שיתוף של הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗