GPT
הוספת כלי
M

Mistral-7B-Instruct-v0.2

קוד פתוח

mistralaiapache-2.02023-12-11

  • transformers
  • pytorch
  • safetensors
  • mistral
  • text-generation

גרסת הוראות פופולרית בקוד פתוח עם חלון של 32 אלף טוקנים. פתרון קומפקטי שמיועד להרצה עצמאית בלי תלות בספקי ענן חיצוניים.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 27.5 GBמשקל הקבצים
  • 1,411,249הורדות בחודש

מה זה

גרסת v0.2 מביאה שדרוג ישיר לבסיס של שבעה מיליארד פרמטרים, כשהשינוי המרכזי מול הגרסה הקודמת הוא הרחבת חלון ההקשר מ־8k ל־32k טוקנים. כדי לתמוך בזה בלי לאבד יציבות, הם שינו את ערך ה־Rope-theta ל־1e6 והסירו לחלוטין את מנגנון ה־Sliding-Window Attention שהיה בגרסה הראשונה. המשמעות היא שהמודל מסוגל לקרוא מסמכים ארוכים בהרבה ברצף אחד, בלי לחתוך או לאבד מידע שנמצא מחוץ לחלון המקומי הקצר.

מבחינת מבנה, מדובר במודל שמחייב פורמט שיחה מוגדר עם תגיות ייעודיות כדי לקבל תשובות מדויקות, באמצעות תבנית שמתחילה בתגיות מיוחדות לכל פקודה. הוא נשען על דיוק bfloat16 ומחולק לקבצים ששוקלים קרוב ל־28 גיגה־בייט בסך הכול. מי שבוחר בו בגודל הזה מחפש בעיקר את השילוב בין גודל פיזי שעדיין נכנס למאיץ גרפי בודד לבין יכולת לעבד טקסטים ארוכים.

מתאים ל

  • עיבוד מסמכים ארוכים

    חלון הקשר של 32 אלף טוקנים מאפשר לנתח קבצים שלמים או חוזים בלי לחתוך את הטקסט.

  • הרצה מקומית מאובטחת

    מודל בגודל 7B שמתאים להרצה על שרת פנימי כשרוצים לשמור על המידע בתוך הארגון.

  • מענה לפקודות מובנות

    אימון ההוראות מגיב היטב להנחיות ישירות ומייצר תשובות ענייניות לפי פורמט השיחה.

איפה זה נופל

החברה מגדירה את המודל כהדגמה ליכולות כוונון עדין בלבד. החיסרון המשמעותי ביותר שמצוין מפורשות הוא היעדר מוחלט של מנגנוני סינון ובקרה פנימיים. הוא לא כולל שכבות הגנה מפני פלטים בעייתיים או פוגעניים, ולכן אי אפשר לחבר אותו ישירות למשתמשי קצה במוצר בלי לבנות שכבת סינון ובדיקות חיצונית מסביבו.

אותה משפחה

Mistral יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mistral-7B-Instruct-v0.32,461,000 Mistral-7B-v0.1244,625 Mistral-7B-Instruct-v0.1160,977 Mistral-7B-v0.3125,438

שאלות
נפוצות

האם המודל מתאים לשימוש מסחרי בחברה?

כן. רישיון apache-2.0 מאפשר שימוש מסחרי מלא ללא תמלוגים. אתם יכולים לשלב אותו במערכות פנימיות או במוצרים שאתם מוכרים ללקוחות.

מה צריך לבדוק לפני שמשלבים אותו במוצר מול לקוחות?

חובה להוסיף מנגנון סינון חיצוני. המודל מגיע בלי מנגנוני בקרה ועלול לייצר תוכן לא הולם אם לא מגבילים אותו ברמת האפליקציה.

האם חייבים להשתמש בספרייה של mistral כדי להריץ אותו?

לא. אפשר להריץ אותו עם transformers הרגילה של Hugging Face, כל עוד החבילה מעודכנת מעבר לגרסה 4.33.4 כדי שהארכיטקטורה תזוהה.

איך מריצים

כדי להריץ אותו ישירות בפורמט המקורי צריך מאיץ גרפי עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון את כל המשקלים ב־bfloat16 יחד עם ההקשר המלא. הוא נתמך ישירות בספריית transformers הרגילה וגם דרך הכלים הייעודיים של החברה, mistral_inference ו־mistral_common, שדורשים גרסאות מעודכנות כדי להימנע משגיאות זיהוי של הארכיטקטורה.

אם אין לכם כרטיס מתאים עם מספיק זיכרון וידאו, או אם השרת שלכם לא מחזיק עומס שוטף שמצדיק החזקת מאיץ דולק כל הזמן, פנייה ל־API מנוהל תהיה זולה ופשוטה בהרבה מתחזוקת תשתית כזאת לבד.

from transformers import pipeline

pipe = pipeline("text-generation", model="mistralai/Mistral-7B-Instruct-v0.2")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי מלא, שינוי של המשקלים, שילוב במוצרים קנייניים והפצה מחדש, כל עוד שומרים על הודעת זכויות היוצרים והתנאים המקוריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗