GPT
הוספת כלי
M

Mistral-7B-v0.3

קוד פתוח

mistralaiapache-2.02024-05-22

  • vllm
  • safetensors
  • mistral
  • mistral-common

גרסת בסיס קומפקטית עם 7.2 מיליארד פרמטרים ואוצר מילים מורחב. היא מתאימה למי שרוצה לאמן או לכוונן מודל מקומי על חומרה צנועה יחסית.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 27.0 GBמשקל הקבצים
  • 125,438הורדות בחודש

מה זה

מדובר במודל שפה גולמי ממשפחת מיסטרל, שממשיך את גרסה 0.2 עם שינוי מרכזי אחד, הרחבה של אוצר המילים לגודל של 32,768 טוקנים לצד חלון הקשר של 32,768 טוקנים. הוא בנוי מ־32 שכבות ומשתמש בארכיטקטורת MistralForCausalLM בדיוק bfloat16, בלי תוספות של כוונון להוראות או התאמות לצ'אט.

המשמעות של מודל בסיס כזה היא שהוא מיועד בעיקר להמשך אימון או להשלמת טקסט, ולא לשיחה ישירה עם משתמש קצה. הרחבת אוצר המילים משפיעה ישירות על היעילות של קידוד הטקסט לפני שהוא מגיע לשכבות החישוב, מה שיכול לעזור בייצוג של מגוון שפות וטוקנים מיוחדים.

מתאים ל

  • בסיס לכוונון עצמאי

    נקודת מוצא טובה לאימון מודל מותאם אישית לדומיין ספציפי בזכות אוצר המילים המורחב וגודל של 7.2B פרמטרים.

  • השלמת טקסט וקוד

    מתאים למשימות מילוי אוטומטי או ייצור המשך לטקסט קיים ישירות בתוך צינורות עיבוד נתונים מקומיים.

  • אירוח עצמי בסביבה סגורה

    רישיון פתוח ונפח שמאפשר פריסה על שרת ארגוני פנימי ללא תלות בספק חיצוני.

איפה זה נופל

המודל הזה מגיע ללא מנגנוני סינון או בקרה על הפלטים, כפי שהיוצרים מציינים במפורש. הוא אינו מודל שיחה מכוונן אלא מודל בסיס, ולכן הוא נוטה לפלוט טקסט לא מבוקר, לחזור על עצמו או לחרוג מגבולות רצויים אם לא מבצעים לו כוונון ייעודי ומגדירים שכבות הגנה לפני שמשלבים אותו במוצר חי.

אותה משפחה

Mistral יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mistral-7B-Instruct-v0.32,461,000 Mistral-7B-Instruct-v0.21,411,249 Mistral-7B-v0.1244,625 Mistral-7B-Instruct-v0.1160,977

שאלות
נפוצות

אפשר להשתמש בו ישירות כבוט לצ'אט?

לא מומלץ. זהו מודל בסיס ולא גרסת Instruct, ולכן הוא לא עבר אופטימיזציה למענה על שאלות או ניהול שיחה. הוא פשוט מנחש את הטוקנים הבאים בטקסט.

מה ההבדל העיקרי בינו לבין גרסה 0.2?

ההבדל המוצהר הוא הרחבת אוצר המילים ל־32,768 טוקנים, מה שדורש שימוש בטוקנייזר תואם ומאפשר ייצוג שונה של קלט הטקסט.

איך מריצים

כדי להריץ אותו צריך להוריד 27 גיגה בייט של קבצים ב־15 חלקים. המפתחים ממליצים להשתמש בספריית mistral-inference או ב־transformers של Hugging Face, ונתמכת גם עבודה עם vLLM להאצת תהליכי שרת.

בגלל המשקל והדיוק המקורי, כרטיס מסך עם פחות מ־16 עד 24 גיגה בייט זיכרון יתקשה להחזיק אותו בלי קוונטיזציה. אם אתם רק צריכים תשובות מהירות ולא מתכוונים לכוונן את המשקולות בעצמכם, עדיף לפנות לשרת מנוהל שחושף אותו ב־API במקום לתחזק שרת ייעודי.

pip install -U huggingface_hub
hf download mistralai/Mistral-7B-v0.3

הקבצים

15 קבצים במאגר, 27.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד, לכוונן את המשקולות ולהפיץ אותו בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗