GPT
הוספת כלי
M

Mistral-7B-Instruct-v0.1

קוד פתוח

mistralaiapache-2.02023-09-27

  • transformers
  • pytorch
  • safetensors
  • mistral
  • text-generation

גרסת שיחה מכוונת הנחיות על בסיס מודל קומפקטי יחסית, עם חלון הקשר רחב במיוחד של 32,768 טוקנים. היא נותנת מענה מהיר להרצה עצמית בלי צורך בחומרת ענק.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 27.5 GBמשקל הקבצים
  • 160,977הורדות בחודש

מה זה

מדובר במודל שפה גנרטיבי עם 7.2 מיליארד פרמטרים, שעבר כיוונון עדין על מערכי נתונים פומביים של שיחות כדי להגיב ישירות להוראות משתמש. הוא נשען על ארכיטקטורת MistralForCausalLM הכוללת מנגנוני Grouped-Query Attention וחלון קשב מחליק, שמאפשרים לו לעבד קלט ארוך ביעילות חישובית טובה בהרבה ממודלים ישנים באותו סדר גודל.

הייחוד כאן הוא השילוב בין גודל פיזי של שבעה מיליארד פרמטרים לבין תמיכה מובנית בטקסטים ארוכים מאוד. במקום להיתקע בתקרות קצרות של אלפיים או ארבעת אלפים טוקנים, אפשר להזין לו מסמכים מורכבים ולקבל מענה בפורמט שיחה מוגדר, כל עוד מקפידים על תבנית ההנחיות הייעודית של המפתחים.

מתאים ל

  • ניתוח מסמכים ארוכים

    חלון של 32 אלף טוקנים מאפשר להזין תיעוד נרחב או קבצים מלאים ולשאול שאלות ישירות.

  • בוט שיחה לתפעול פנימי

    מתאים לעיבוד הוראות מוגדרות בארגון שבו אין צורך במערכת סינון מובנית ונוקשה.

  • סוכן מקומי ללא ענן

    הגודל הקומפקטי מאפשר פריסה עצמאית על שרת פרטי לשמירה מלאה על פרטיות המידע.

איפה זה נופל

המפתחים מצהירים בפירוש שמדובר בהדגמה מהירה של יכולות הכיוונון של מודל הבסיס. אין בו מנגנוני סינון, מיתון או מעקות בטיחות בכלל, והוא עלול לייצר פלטים פוגעניים או בעייתיים ללא שליטה מוקדמת. מי שבונה עליו שירות ללקוחות קצה חייב להוסיף שכבת סינון ובקרה חיצונית משלו לפני החשיפה לקהל.

אותה משפחה

Mistral יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mistral-7B-Instruct-v0.32,461,000 Mistral-7B-Instruct-v0.21,411,249 Mistral-7B-v0.1244,625 Mistral-7B-v0.3125,438

שאלות
נפוצות

איך צריך לנסח את הפרומפט כדי שהמודל יבין נכון?

המודל דורש תבנית קשיחה של תגיות INST סביב כל בקשה, כשההנחיה הראשונה מתחילה בטוקן פתיחת משפט. מומלץ להשתמש ישירות במתודה apply_chat_template שבספריית transformers כדי לא לבנות את המחרוזות האלו ידנית.

האם כדאי להריץ אותו ישירות מול משתמשי קצה?

לא מומלץ לחבר אותו למשתמשים בלי שכבת סינון נפרדת. היצרן מציין שאין בו שום בקרת תוכן, ולכן הוא לא מתאים לסביבות מפוקחות ללא הוספת מנגנוני מיתון עצמאיים.

איך מריצים

המשקלים תופסים 27.5 גיגה בייט בדיוק bfloat16 על פני חמישה עשר קבצים, כך שכדי להריץ אותו כמו שהוא צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי. אפשר לטעון אותו ישירות דרך ספריית transformers הרגילה או בעזרת הכלים הייעודיים של החברה, mistral-inference וטוקנייזר תואם.

אם יש לכם שרת מקומי עם מאיץ מתאים, ההרצה פשוטה ומהירה. אם המטרה היא רק לבדוק שאילתות בודדות ואין לכם כרטיס מסך פנוי עם מספיק זיכרון ייעודי, עדיף לפנות לנקודת קצה מנוהלת בענן במקום לנסות להריץ אותו על מעבד מרכזי רגיל.

from transformers import pipeline

pipe = pipeline("text-generation", model="mistralai/Mistral-7B-Instruct-v0.1")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של המודל, הפצה מחדש ושילוב במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗