GPT
הוספת כלי
M

mistral-community/Mixtral-8x22B-v0.1

קוד פתוח

mistral-communityapache-2.02024-04-10

  • transformers
  • safetensors
  • mixtral
  • text-generation
  • moe

מודל בסיס פתוח וענק בארכיטקטורת מומחים, שמיועד למי שרוצה לאמן בעצמו גרסה מותאמת אישית של 141 מיליארד פרמטרים. הוא מציע חלון הקשר עמוק של 65,536 טוקנים אך דורש תשתית שרתים כבדה מאוד.

  • 141Bפרמטרים
  • 65,536טוקנים בהקשר
  • 262 GBמשקל הקבצים
  • 175הורדות בחודש

מה זה

מדובר במודל בסיס שנוצר בפורמט מומחים דליל עם 56 שכבות, שתומך רשמית בחמש שפות אירופאיות: אנגלית, צרפתית, איטלקית, גרמנית וספרדית. אין כאן מודל שיחה שמוכן לעבודה עם משתמשי קצה, אלא משקלים גולמיים שמיועדים להמשך אימון וכוונון למשימות מוגדרות.

במבחני הביצועים של הלוח הפתוח הוא קיבל ממוצע של 74.46. הוא רושם ציונים טובים של 88.73 במבחן HellaSwag ו־77.81 ב־MMLU, שמראים על ידע כללי נרחב והבנת שפה טובה. במתמטיקה עם GSM8k הוא עומד על 74.15, אך במבחן האמינות TruthfulQA הוא השיג 51.08 בלבד, מה שמלמד שהוא נוטה לפלוט תשובות שגויות בדיוק כמו מודלי בסיס ישנים יותר.

מתאים ל

  • אימון מודל ייעודי

    נקודת פתיחה מצוינת לכוונון עדין על דאטה פנימי בזכות נפח פרמטרים גדול ורישיון חופשי.

  • עיבוד מסמכים ארוכים

    חלון הקשר של 65,536 טוקנים מאפשר להזין טקסטים שלמים ומורכבים בלי לחתוך אותם.

  • פתרון בעיות באנגלית ובאירופית

    מתאים למשימות הבנה והשלמה בחמש השפות הנתמכות, שבהן הוא מציג ציוני שפה גבוהים.

איפה זה נופל

זהו מודל בסיס לחלוטין ולכן אין בו שום מנגנוני סינון, מיתון או יישור לשיחה. הוא אינו מיועד למענה על שאלות אלא להשלמת טקסט, ויכול לייצר פלטים פוגעניים או הזיות בקלות. בנוסף, עברית כלל אינה ברשימת השפות הנתמכות שלו, ומבחן האמת עם ציון 51.08 מבהיר שאסור להסתמך עליו בעובדות בלי בדיקה מקדימה.

אותה משפחה

Mixtral יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mixtral-8x22B-v0.1-4bit36

שאלות
נפוצות

האם כדאי להוריד את הגרסה הזו או את הגרסה הרשמית של Mistral?

עדיף להוריד ישירות מהעמוד הרשמי של mistralai. הכרטיס כאן מתריע במפורש שמדובר בהסבה של הקהילה שעשויה לא להיות מעודכנת בהשוואה למאגר המקורי.

האם המודל מוכן לעבודה כצ'אטבוט?

לא. זהו מודל בסיס שלא עבר אימון להוראות או שיחה, והוא רק משלים טקסט קיים. לצורך שיחה עדיף לחפש את גרסת ה־Instruct.

האם המודל מתאים לשימוש בעברית?

השפות המדווחות הן אנגלית, צרפתית, איטלקית, גרמנית וספרדית בלבד. עברית אינה נתמכת רשמית, ולכן צפוי שיעור שגיאות גבוה בהרבה.

איך מריצים

להריץ 262 גיגה בייט של קבצים בזיכרון זה סיפור יקר. בדיוק מלא של bfloat16 תצטרכו שרת עם מספר כרטיסי מסך חזקים במיוחד שמציעים מאות גיגה בייטים של וידאו ראם. אפשר להקל על העומס בעזרת טעינה ב־float16, הפעלת Flash Attention 2 או קוונטיזציה ל־4 ביט ו־8 ביט דרך bitsandbytes.

הדף הספציפי הזה מציין בפירוש שמדובר בהמרה מוקדמת של הקהילה שעשויה לא להיות מעודכנת. mistralai עצמם כבר שחררו את המשקלים הרשמיים בארגון שלהם, כולל גרסת שיחה מאומנת. אם אין לכם אשכול מחשוב פרטי עם תקציב תחזוקה גבוה, כמעט תמיד עדיף לצרוך מודל כזה דרך ספק ענן או שירות קיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="mistral-community/Mixtral-8x22B-v0.1")
print(pipe("שלום"))

הקבצים

70 קבצים במאגר, 262 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה חופשית של המוצר שלכם. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי, בלי תשלום תמלוגים לאף אחד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗