GPT
הוספת כלי
M

Mixtral-8x22B-v0.1

קוד פתוח

mistralaiapache-2.02024-04-16

  • vllm
  • safetensors
  • mixtral
  • moe
  • mistral-common

מודל בסיס פתוח של מומחים עם מאה וארבעים מיליארד פרמטרים וחלון ענק. הוא מיועד למי שרוצה לשלוט לחלוטין במשקלים ולבנות מעליהם התאמות ייעודיות באנגלית או בשפות אירופיות.

  • 141Bפרמטרים
  • 65,536טוקנים בהקשר
  • 262 GBמשקל הקבצים
  • 11,193הורדות בחודש

מה זה

מדובר בארכיטקטורת תערובת מומחים דלילה שמשלבת גודל כולל עצום של כמאה וארבעים ואחד מיליארד פרמטרים עם הפעלה חכמה, מה שמאפשר לו לרוץ מהר יותר ממודלים צפופים בגודל דומה. הוא אומן מראש על חמש שפות מרכזיות, בהן אנגלית, צרפתית, גרמנית, ספרדית ואיטלקית, ומסוגל לעבד הקשר רחב שמגיע עד שישים וחמישה אלף טוקנים בבת אחת.

המודל מגיע ישירות כמודל בסיס שנועד להשלמת טקסט כללית ולא עבר כוונון להוראות או שיחה. המשמעות היא שהוא לא ינהל איתכם דיאלוג שוטף ישר מהקופסה, אלא דורש עבודה נוספת של אימון והתאמה כדי להפיק ממנו תוצרים ספציפיים. מי שמוריד אותו מחפש בעיקר את חופש הפעולה שמשקלי הבסיס נותנים לו לפיתוח עצמאי.

מתאים ל

  • אימון מודל הוראות פנימי

    הוא מהווה בסיס נקי ופתוח לחלוטין לכוונון עדין על דאטה ארגוני, בלי תלות בתנאי שימוש מגבילים של ספקי צד שלישי.

  • ניתוח מסמכים ארוכים

    חלון הקשר של שישים וחמישה אלף טוקנים מאפשר להכניס קבצים מורכבים בגרמנית, אנגלית או צרפתית ולבצע מיצוי מידע מדויק.

  • שרת הסקה בתוך ארגון

    תמיכה מובנית בפריסה עם vLLM הופכת אותו למועמד טוב להרצה עצמאית עבור מי שחייב לשמור את המידע מאחורי חומת אש.

איפה זה נופל

זהו מודל בסיס טהור שלא עבר שום מנגנון של סינון תוכן, בטיחות או יישור. היוצרים מציינים במפורש שאין בו מנגנוני בקרה, ולכן הוא עלול לפלוט תוכן לא ראוי או בלתי צפוי אם תשאלו אותו שאלות ישירות. בנוסף, רשימת השפות הנתמכות כוללת שפות מערב אירופיות בלבד, כך שאין שום הבטחה או תמיכה רשמית בעברית.

אותה משפחה

Mixtral יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mixtral-8x7B-Instruct-v0.1235,912 Mixtral-8x7B-v0.169,714 Mixtral-8x22B-Instruct-v0.124,702

שאלות
נפוצות

האם המודל מוכן לשימוש כצ'אטבוט ישר אחרי ההורדה?

לא, זה מודל בסיס שמשלים טקסט ולא עבר אימון שיחה או התאמה להוראות. אם תתנו לו שאלה הוא ימשיך את המשפט במקום לענות עליה, ולכן תצטרכו לאמן אותו בעצמכם או להשתמש בגרסת שיחה מתאימה.

האם אפשר להריץ אותו על שרת עם כרטיס מסך ביתי בודד?

ממש לא, הקבצים לבדם שוקלים מאתיים שישים ושניים גיגהבייט. תצטרכו מספר כרטיסים מקצועיים עם מאות גיגהבייט של זיכרון גרפי, אלא אם תשתמשו בגרסאות מכווצות ומצומצמות מאוד שלא נמצאות במאגר הזה.

איך מריצים

המשקלים שוקלים מאתיים שישים ושניים גיגהבייט בדיוק מלא, כך שאי אפשר להריץ אותו בלי תשתית רצינית של כמה כרטיסי מסך חזקים עם זיכרון כולל של מאות גיגהבייט. אם אתם מתכוונים לטעון אותו ישירות דרך ספריית הטרנספורמרים בלי קוונטיזציה, תצטרכו שרת ייעודי כבד במיוחד רק כדי להחזיק את הקבצים בזיכרון.

למי שרוצה לשרת אותו בייצור, מומלץ להשתמש ישירות בספריית vLLM שנתמכת כבר ברמת הקבצים במאגר ומקצרת זמני תגובה. אם אין לכם גישה לחוות שרתים מקומית שמוכנה לעומס כזה, החזקת חומרה כזו לבד תעלה הון ועדיף לבדוק פתרונות ענן מנוהלים.

pip install -U huggingface_hub
hf download mistralai/Mixtral-8x22B-v0.1

הקבצים

69 קבצים במאגר, 262 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון אפאצ'י שתיים, שזה רישיון חופשי ונוח מאוד. מותר לכם להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים נגזרים ולשלב אותו במוצרים שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗