GPT
הוספת כלי
W

WizardLM-2-8x22B

קוד פתוח

alpindaleapache-2.02024-04-16

  • transformers
  • safetensors
  • mixtral
  • text-generation
  • conversational

גרסה מכווננת של מיקסטרל מרובה מומחים, שמכוונת להתמודד מול מודלים מסחריים סגורים במשימות תכנות, ניתוח ושיחה מורכבת. תקבלו כאן ביצועים חזקים מאוד, בתנאי שיש לכם גב טכני להחזיק משקל כבד.

  • 141Bפרמטרים
  • 65,536טוקנים בהקשר
  • 262 GBמשקל הקבצים
  • 9,349הורדות בחודש

מה זה

מדובר במודל MoE עם 141 מיליארד פרמטרים, שנבנה על בסיס Mixtral-8x22B-v0.1 ואומן באמצעות מערכת של נתונים סינתטיים. המטרה של המפתחים היתה להביא מודל קוד פתוח שמתחרה ישירות ב־GPT-4 במשימות כתיבה, היגיון וקוד, בלי להתפשר על אורך השיחה הודות לחלון הקשר של 65,536 טוקנים.

בבדיקות השוואה של העדפות אנושיות, המפרסמים מציגים נתונים שבהם הוא מנצח מודלים כמו Command R Plus וגרסאות מוקדמות של GPT-4, ומגיע קרוב מאוד ל־GPT-4-1106-preview. עם זאת, בלוח המבחנים של Open LLM Leaderboard הוא קיבל ממוצע של 32.61 בלבד, עם תוצאות צנועות יחסית במבחנים קשים כמו GPQA עם 17.56 או מתמטיקה ברמה 5 עם 22.28, כך שהיכולת שלו בשיחה פתוחה כנראה מרשימה בהרבה מהביצועים שלו במבחני ידע תיאורטיים מורכבים.

מתאים ל

  • בוטים לשיחות מורכבות

    התמחות בהוראות מורכבות והקשר של 65 אלף טוקנים מאפשרים מענה אנושי ומדויק בשיחות עמוקות.

  • סיוע בכתיבת קוד

    האימון הייעודי הופך אותו לחלופה פתוחה טובה לכתיבת פונקציות וניתוח תקלות מקומי.

  • מערכות סוכנים אוטונומיים

    הארכיטקטורה תוכננה למשימות agent שדורשות מעקב אחרי שלבי עבודה וקריאות חוזרות.

איפה זה נופל

החולשה העיקרית עולה ישירות מתוצאות ה־Open LLM Leaderboard. עם 14.54 בלבד ב־MuSR ופחות מ־40 נקודות ב־MMLU-PRO, המודל מתקשה בהסקה רב שלבית הדורשת דיוק עובדתי קפדני. בנוסף, מדובר בהעלאה מחודשת של משתמש עצמאי בשם alpindale ולא בחשבון הרשמי של מיקרוסופט, מה שאומר שאין כאן תמיכה מסודרת, עדכוני גרסה או התחייבות לתחזוקה מצד היוצרים המקוריים.

שאלות
נפוצות

האם כדאי להריץ אותו במחשב מקומי לעבודה שוטפת?

רק אם יש לכם תחנת עבודה ייעודית עם כרטיסי מסך מקצועיים בעלות גבוהה מאוד. בגלל גודל של 262 גיגה בייט, מחשב אישי רגיל אפילו לא יצליח לטעון את המשקלים לזיכרון.

מדוע המודל מועלה על ידי alpindale ולא מיקרוסופט?

מיקרוסופט הסירו את הקישורים המקוריים זמן קצר לאחר הפרסום, ומשתמשים בקהילה העלו עותקים שמורים כדי לאפשר גישה לקבצים. הרישיון עדיין נשאר apache-2.0, אך אין גוף רשמי שמנהל את הריפו הזה.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 צריך להוריד 262 גיגה בייט המחולקים ל־68 קבצים, מה שדורש מערך של כמה כרטיסי מסך עם נפח זיכרון וידאו כולל של 300 גיגה בייט לפחות, כמו ארבעה כרטיסי A100 או H100 של 80 גיגה בייט. מי שאין לו שרת כזה במשרד או תקציב ענן של כמה דולרים לשעה יצטרך לפנות לגרסאות מכווצות בקוונטיזציה או להשתמש ב־API.

בנוסף, המודל רגיש מאוד למבנה הפרומפט. הוא עובד בתבנית של Vicuna, עם פתיח קבוע של שיחה בין משתמש לעוזר והפרדה ברורה בין תורות השיחה בעזרת תווי סיום ספציפיים. אם לא מקפידים על התבנית הזו, איכות התשובות יורדת מיד.

from transformers import pipeline

pipe = pipeline("text-generation", model="alpindale/WizardLM-2-8x22B")
print(pipe("שלום"))

הקבצים

68 קבצים במאגר, 262 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר ברישיון apache-2.0, שמאפשר שימוש חופשי לחלוטין, כולל פיתוח מסחרי, שינוי הקוד והפצה פנימית או חיצונית במוצר שלכם. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי אחריות משפטית מצד המפתחים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗