Mixtral-8x7B-v0.1-GGUF

קוד פתוח

TheBlokeapache-2.02023-12-11

transformers
gguf
mixtral
fr
it

גרסת קבצים מכווצת של מודל המומחים מבית מיסטרל, המאפשרת להריץ יכולות שמנצחות את לאמה שבעים בי בלי להחזיק חוות שרתים שלמה.

225 GBמשקל הקבצים
6,116הורדות בחודש
437לייקים

מה זה

מדובר במודל שפועל בארכיטקטורת תערובת מומחים דלילה, שנוצרה במקור על ידי חברת מיסטרל וזכתה להמרה לפורמט קבצים מכווץ בידי דה בלוק. המבנה הזה מפעיל רק חלק קטן מהרשת בכל רגע נתון, מה שנותן מהירות תגובה גבוהה בהרבה ממודלים מונוליטיים באותו סדר גודל. מבחינת ביצועים, היוצרים מדווחים שהוא עוקף את לאמה שתיים שבעים בי ברוב המבחנים המקובלים, כך שאתם מקבלים תשובות חכמות ומדויקות יותר בחלק ניכר מהמשימות החישוביות והטקסטואליות.

המודל אומן על מספר שפות אירופאיות מרכזיות כמו אנגלית, צרפתית, גרמנית, ספרדית ואיטלקית, אך עברית אינה נכללת ברשימת השפות הנתמכות רשמית שלו. אם תפנו אליו בעברית תקבלו תוצאות מקרטעות, ערבוב מילים או שגיאות תחביר גסות. ההמרה לקבצים האלה נועדה לפתוח צוואר בקבוק של חומרה, כך שמשתמשים יכולים לעבוד עם כלי ברמת ביצועים של מודלי ענק גם בסביבות פיתוח מקומיות, כל עוד יש להם מספיק זיכרון עבודה כדי להחזיק את הקבצים במלואם.

מתאים ל

השלמת קוד וטקסט טכני
מודל הבסיס מצטיין בהמשך ישיר של תבניות קוד ומסמכים טכניים באנגלית ובשפות אירופאיות בלי התחכמויות.
בסיס לכוונון עדין
תשתית חזקה וגמישה למי שרוצה לאמן מודל פנימי על נתונים ארגוניים פרטיים וצריך רישיון מסחרי פתוח.
עיבוד מסמכים רב לשוני
מתאים לניתוח טקסטים ארוכים בספרדית, צרפתית, גרמנית או איטלקית הודות לביצועים הגבוהים במבחנים.

איפה זה נופל

זהו מודל בסיס גולמי לחלוטין ללא אימון שיחה או התאמה להוראות, ואין בו שום תבנית פרומפט או מנגנוני סינון ובטיחות מובנים. הוא פשוט מנחש את המשך הטקסט שקיבל. אם תתנו לו שאלה הוא עלול להמשיך אותה במקום לענות עליה, והוא עלול לייצר תוכן פוגעני או רעיל בלי אזהרה מוקדמת. בנוסף, הוא אינו תומך בעברית, כך שהוא לא מתאים לפרויקטים מקומיים בלי תרגום או אימון מקדים, והרצתו עלולה לקרוס בכלים שלא עודכנו לתמוך בארכיטקטורה שלו.

אותה משפחה

Mixtral יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mixtral-8x7B-Instruct-v0.1-GGUF16,163 Mixtral-8x7B-v0.1-GPTQ13,430 Mixtral-8x7B-Instruct-v0.1-AWQ3,297 Mixtral-8x7B-Instruct-v0.1-GPTQ497

שאלות
נפוצות

האם המודל מתאים לצ'אט ישיר מול לקוחות?

לא, זהו מודל בסיס פרה טריינד שלא עבר כוונון לשיחות או לפקודות, ואין לו מנגנוני בטיחות. כדי לבנות איתו צ'אט בוט תצטרכו להשתמש בגרסת אינסטראקט או לבצע כוונון והוספת סינון תוכן בעצמכם.

איזה קובץ הכי כדאי לי להוריד מתוך המאגר?

האפשרות המאוזנת ביותר היא קיו ארבע קיי אם. היא שוקלת עשרים ושישה נקודה ארבעים וארבעה גיגה בייט, שומרת על ביצועים טובים מאוד, ודורשת פחות מעשרים ותשעה גיגה בייט זיכרון לעומת גרסאות גדולות וכבדות בהרבה.

האם אני חייב כרטיס מסך חזק כדי לעבוד איתו?

לא חובה, אבל מומלץ מאוד. הפורמט מאפשר להריץ את המודל על המעבד ועל זיכרון המחשב בלבד, אבל ללא פריקה של שכבות לכרטיס מסך מהירות הפקת הטקסט תהיה נמוכה מאוד ומייבשת.

איך מריצים

כדי להריץ אותו בפועל תצטרכו תוכנות כמו לאמה סי פי פי מגרסת שלוש עשרה בדצמבר והלאה, אל אם סטודיו בגרסה אפס נקודה שתיים נקודה תשע לפחות, או קובולד סי פי פי. יש פה מגוון גרסאות קוונטיזציה שנבדלות ברמת הדחיסה ובמשאבים, החל מקובץ שני ביט ששוקל חמישה עשר נקודה שישים וארבעה גיגה בייט ודורש מעל שמונה עשר גיגה זיכרון עם פגיעה קשה באיכות, ועד לקובץ שמונה ביט ענקי ששוקל כמעט חמישים גיגה בייט.

לרוב השימושים הגרסה המאוזנת והמומלצת ביותר היא קיו ארבע קיי אם, ששוקלת עשרים ושישה נקודה ארבעים וארבעה גיגה בייט וצורכת כמעט עשרים ותשעה גיגה בייט של זיכרון ראם. אם אין לכם כרטיס מסך מרובה זיכרון וידאו או תחנת עבודה עם לפחות שלושים ושניים גיגה זיכרון פנוי, ההרצה על המעבד תהיה אטית להחריד, ובמקרה כזה עדיף לשלם לפי קריאה לממשק תכנות מרוחק.

ollama run hf.co/TheBloke/Mixtral-8x7B-v0.1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_049.6 GB Q6_K38.4 GB Q5_032.2 GB Q5_K_M32.2 GB Q4_026.4 GB Q4_K_M26.4 GB Q3_K_M20.4 GB Q2_K15.6 GB

הקבצים

11 קבצים במאגר, 225 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים נקודה אפס, שמעניק חופש כמעט מוחלט. אתם יכולים להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, להטמיע אותו בתוך מוצר שאתם מוכרים, ולהריץ אותו באופן פרטי בתוך הארגון בלי לחשוף את השינויים שלכם. הדרישה העיקרית היא לכלול עותק של הרישיון המקורי ומתן קרדיט ליוצרים בכל הפצה של התוכנה.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗