GPT
הוספת כלי
M

Mixtral-8x22B-Instruct-v0.1

קוד פתוח

mistralaiapache-2.02024-04-16

  • vllm
  • safetensors
  • mixtral
  • mistral-common
  • en

ארכיטקטורת מומחים ענקית בקוד פתוח, שמכוונת למי שרוצה חלון הקשר רחב ויכולת הפעלת כלים בלי לעבור דרך שרתים סגורים.

  • 141Bפרמטרים
  • 65,536טוקנים בהקשר
  • 262 GBמשקל הקבצים
  • 24,702הורדות בחודש

מה זה

מדובר במודל שכולל מעל 140 מיליארד פרמטרים ומשתמש בשיטת תערובת מומחים. המבנה הזה מחלק את העבודה בין מסלולים שונים בתוך 56 השכבות שלו, במקום להפעיל את כל המשקלים בכל טוקן. הגרסה הזו עברה כוונון ייעודי למענה להוראות, ומגיעה עם חלון הקשר של 65,536 טוקנים שמתאים לעיבוד קבצים ארוכים או שיחות מתמשכות.

השפות הרשמיות שנתמכות כאן הן אנגלית, ספרדית, איטלקית, גרמנית וצרפתית. מעבר לטקסט חופשי, בנו כאן תמיכה מובנית בקריאות לפונקציות חיצוניות בעזרת טוקנים מיוחדים להגדרת כלים והחזרת תשובות. הכרטיס מציג מימוש ישיר באמצעות ספריות הפיתוח של מיסטרל או דרך ספריות מוכרות, כולל תמיכה במנועי הרצה מהירים.

מי שמשווה אותו למודלים דחוסים יגלה מפלצת במשקל של 262 ג'יגה בייט. הוא שונה מגרסאות רגילות בכך שהוא דורש היערכות משמעותית של זיכרון, אבל מעניק עצמאות מלאה בניהול המידע תחת קוד פתוח מלא.

מתאים ל

  • הפעלת פונקציות וכלים

    המודל כולל טוקנים ייעודיים לזיהוי כלים והחזרת תשובות, מה שמתאים לשילוב ישיר בקוד.

  • עיבוד מסמכים אירופיים

    הוא אומן רשמית על אנגלית וארבע שפות אירופיות מרכזיות, עם הקשר של מעל 65 אלף טוקנים.

  • מערכות עצמאיות לחלוטין

    רישיון חופשי שמתאים לחברות שחייבות להחזיק את המודל אצלן בלי לשתף מידע עם ספקים חיצוניים.

איפה זה נופל

הבעיה הבולטת ביותר לקורא המקומי היא העדר עברית מרשימת השפות הרשמיות, שכוללת רק חמש שפות אירופיות. בנוסף, מימוש הפעלת הכלים דורש דיוק קפדני: מזהי הקריאות חייבים להיות באורך של 9 תווים בדיוק, והטוקנייזר של ספריות צד שלישי עדיין אינו תואם במאה אחוז למימוש המקורי של החברה, מה שעלול לגרום להתנהגות שונה בזמן ריצה.

אותה משפחה

Mixtral יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mixtral-8x7B-Instruct-v0.1235,912 Mixtral-8x7B-v0.169,714 Mixtral-8x22B-v0.111,193

שאלות
נפוצות

האם אפשר להריץ את המודל על מחשב פיתוח רגיל?

לא. גודל הקבצים לבדו הוא 262 ג'יגה בייט בפורמט bfloat16, כך שצריך שרת ייעודי עם מספר כרטיסי GPU מקצועיים כדי לטעון אותו לזיכרון. גם עם דחיסה ל־4 ביט מדובר בדרישות חומרה כבדות מאוד.

איך המודל מתמודד עם טקסטים ארוכים?

הוא תומך בחלון הקשר של 65,536 טוקנים, מה שמאפשר להזין לו מסמכים מרובי עמודים ברצף. עם זאת, הרצה באורכים כאלה דורשת מעקב זהיר אחרי תפיסת זיכרון ה־VRAM בזמן אמת.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־262 ג'יגה בייט בפורמט המקורי, כך שלהריץ אותו בעצמכם דורש שרת עם כמה מעבדים גרפיים חזקים במיוחד. אפשר להוריד את דרישות הזיכרון באמצעות קוונטיזציה של 4 ביט או 8 ביט כפי שמצוין בתיעוד, או להשתמש במנוע vllm כדי לנהל את המשאבים בצורה שפויה יותר.

אם אין לכם תשתית ענן ייעודית ותקציב חומרה כבד, עדיף לפנות ישירות לשירות ענן שמחזיק אותו זמין ב־API. ההתעסקות עם חלוקת המשקלים בין כרטיסים שונים לא שווה את הזמן אלא אם אתם חייבים שהמידע יישאר מקומית.

pip install -U huggingface_hub
hf download mistralai/Mixtral-8x22B-Instruct-v0.1

הקבצים

69 קבצים במאגר, 262 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים פרטיים או מסחריים, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗