GPT
הוספת כלי
M

Mixtral-8x7B-v0.1

קוד פתוח

mistralaiapache-2.02023-12-01

  • vllm
  • safetensors
  • mixtral
  • moe
  • mistral-common

ארכיטקטורת מומחים דלילה שמשלבת ביצועים חזקים עם יעילות חישובית. המפתחים מדווחים שהוא עוקף את לאמה 70B ברוב המבחנים שנבדקו.

  • 47Bפרמטרים
  • 32,768טוקנים בהקשר
  • 177 GBמשקל הקבצים
  • 69,714הורדות בחודש

מה זה

מדובר במודל גנרטיבי פתוח שמבוסס על Sparse Mixture of Experts וכולל קרוב ל־47 מיליארד פרמטרים. המבנה הזה מחלק את העבודה בין מומחים שונים ברשת, כך שבכל רגע נתון רק חלק מהמשקלים פועלים, מה שמאפשר לו להגיב מהר יותר ממודל מלא באותו סדר גודל. על פי נתוני המפתחים, הוא מציג תוצאות טובות יותר מלאמה 2 בגרסת 70B ברוב המבחנים המקובלים, הישג משמעותי יחסית לגודלו הפעיל.

הוא מגיע עם חלון הקשר של 32,768 טוקנים, טווח רחב שמתאים לעיבוד של מסמכים ארוכים או שיחות מתמשכות בלי לאבד את ההקשר הקודם. המודל אומן מראש על חמש שפות אירופאיות מרכזיות: אנגלית, צרפתית, איטלקית, גרמנית וספרדית. הוא אינו כולל אימון מיוחד לעברית, ולכן כל שימוש בשפה המקומית ידרוש בדיקה קפדנית של איכות הפלט וההבנה.

מתאים ל

  • אימון ייעודי למשימות עומק

    כבסיס חזק שמתעלה על מודלים של 70B, הוא נקודת פתיחה טובה ל־fine-tuning ייעודי.

  • ניתוח מסמכים רב־לשוניים

    חלון של כ־32 אלף טוקנים ותמיכה בחמש שפות אירופאיות מאפשרים סריקה ועיבוד טקסטים ארוכים.

  • הסקה מהירה בשרתים ייעודיים

    ארכיטקטורת המומחים מאפשרת להפיק תפוקה מהירה יותר ממודלים צפופים בעזרת vLLM.

איפה זה נופל

זהו מודל בסיס שעבר אימון מקדים בלבד. המפתחים מבהירים במפורש שאין בו מנגנוני סינון, מיתון או התאמה להוראות, כך שהוא עלול לפלוט טקסט לא צפוי, פוגעני או שגוי בלי התרעה. הוא לא עבר התאמה לשיחה, ולכן אינו מתנהג כמו צ'אטבוט מוכן מהקופסה. בנוסף, חוסר האימון הרשמי בעברית והמשקל הגבוה שלו דורשים בדיקות התאמה והשקעה בתשתיות לפני שילוב במערכת.

אותה משפחה

Mixtral יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mixtral-8x7B-Instruct-v0.1235,912 Mixtral-8x22B-Instruct-v0.124,702 Mixtral-8x22B-v0.111,193

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כעוזר שיחה למשתמשי קצה?

לא מומלץ בלי אימון נוסף. מדובר במודל בסיס ללא התאמה להוראות וללא מנגנוני מיתון ובטיחות, והוא נועד להשלמת טקסט או כבסיס לפיתוח.

האם הוא מבין עברית?

השפות שהוגדרו רשמית הן אנגלית, צרפתית, איטלקית, גרמנית וספרדית בלבד. הוא עשוי לפלוט מילים בעברית עקב חומרי אימון כלליים ברשת, אבל לא הייתי בונה עליו לעבודה יציבה בעברית בלי לבדוק או לאמן אותו קודם.

איך מריצים

המשקלים שוקלים 177 גיגה בייט ב־36 קבצים, כך שאי אפשר להריץ אותו על חומרה ביתית פשוטה. כדי לטעון אותו בדיוק המקורי תצטרכו שרת עם כמה כרטיסי GPU חזקים ונפח זיכרון גרפי משמעותי. הספריות הנתמכות להרצה הן transformers ו־vLLM, שמתאימה במיוחד לפריסה בייצור.

אם הזיכרון מוגבל, הכרטיס מציע פתרונות של הפחתת דיוק לחצי דיוק, או הרצה ב־8 ביט ו־4 ביט דרך ספריית bitsandbytes, יחד עם תמיכה ב־Flash Attention 2 לזירוז הפעולה. למי שאין לו תשתית כבדה ומנוהלת, עדיף להשתמש בספק שמגיש אותו דרך API במקום לתחזק שרתים יקרים.

pip install -U huggingface_hub
hf download mistralai/Mixtral-8x7B-v0.1

הקבצים

36 קבצים במאגר, 177 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה פנימית או חיצונית, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. מתאים למי שרוצה לשלב את המודל ישירות במוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗