GPT
הוספת כלי
M

Mistral-7B-Instruct-v0.3

קוד פתוח

mistralaiapache-2.02024-05-22

  • vllm
  • safetensors
  • mistral
  • mistral-common

גרסה מכווננת להוראות שמביאה תמיכה מובנית בהפעלת פונקציות לגודל של שבעה מיליארד פרמטרים. היא פונה למי שצריך מודל קומפקטי שיודע להתממשק עם קוד וכלים חיצוניים בלי תלות בשירות ענן סגור.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 27.0 GBמשקל הקבצים
  • 2,461,000הורדות בחודש

מה זה

מדובר בעדכון ישיר לגרסאות הקודמות של הסדרה, עם 7.2 מיליארד פרמטרים וחלון הקשר של 32,768 טוקנים. החידוש העיקרי כאן הוא תמיכה רשמית בקריאת פונקציות ישירות מתוך המודל, לצד מעבר לטוקנייזר v3 והרחבת אוצר המילים ל־32,768. הוא בנוי על 32 שכבות ומגיע במשקל של כ־27 גיגה-בייט בקובצי המשקלים הרשמיים בדיוק bfloat16.

המשמעות של התמיכה בפונקציות ברמת המודל היא שלא צריך להנדס פרומפטים מסובכים רק כדי לחלץ מבנה נתונים תקין. הוא מחזיר מזהי קריאה ייעודיים של תשעה תווים אלפאנומריים, מה שמאפשר לשלב אותו בצורה נקייה בסוכנים אוטומטיים ובמערכות שדורשות שליפת מידע או הפעלת API חיצוני.

מתאים ל

  • הפעלת כלים ו־API

    תמיכה מובנית ב־function calling שמחזירה מזהים ייעודיים לקריאות המשך בלי לפספס פרמטרים.

  • בוטים ומענה להוראות

    כיוונון מלא למעקב אחרי הנחיות בשילוב חלון הקשר של 32,768 טוקנים לשיחות ארוכות.

  • הרצה מקומית ומאובטחת

    גודל קומפקטי יחסית של 7.2B פרמטרים שרץ על חומרה מקומית ללא תלות ברשת חיצונית.

איפה זה נופל

היוצרים מגדירים את המודל כהדגמה מהירה ליכולות הכיוונון של גרסת הבסיס, והוא מגיע ללא שום מנגנוני סינון ובקרה פנימיים. המשמעות היא שהוא עלול לייצר פלטים פוגעניים או לא בטוחים בלי התרעה. אם אתם בונים מוצר שפונה למשתמשי קצה, חובה להוסיף שכבת סינון ובדיקה חיצונית לפני שמחזירים תשובות. בנוסף, קריאת הפונקציות מחייבת הקפדה ידנית על מזהי קריאה מדויקים של תשעה תווים כדי שהסבב מול המודל לא יישבר.

אותה משפחה

Mistral יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mistral-7B-Instruct-v0.21,411,249 Mistral-7B-v0.1244,625 Mistral-7B-Instruct-v0.1160,977 Mistral-7B-v0.3125,438

שאלות
נפוצות

מה נדרש כדי להפעיל קריאת פונקציות עם transformers?

צריך להתקין את ספריית transformers מגרסה 4.42.0 ומעלה. בעבודה מול המודל חובה להעביר ולשמר את מזהה קריאת הכלי, שמורכב בדיוק מתשעה תווים אלפאנומריים, גם בבקשה וגם בתשובה שמוחזרת להיסטוריית השיחה.

האם המודל כולל מנגנון סינון תכנים?

לא. המודל שוחרר ללא שכבות אפנון או מנגנוני בטיחות מובנים. כל סינון של תוכן לא הולם או שמירה על גבולות שיחה צריכים להיעשות בקוד שעוטף אותו לפני שמציגים את הפלט למשתמשים.

איך מריצים

במשקל מלא של 27 גיגה-בייט בדיוק bfloat16, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון אותו ולהשאיר מקום להקשר. המודל נתמך ישירות בספריית mistral-inference הייעודית, ב־transformers מגרסה 4.42 ומעלה, וגם ב־vLLM עבור שרתים שצריכים לשרת מספר פניות במקביל.

אם יש לכם כרטיס בודד חזק מספיק, ההרצה המקומית פשוטה ונותנת שליטה מלאה על המידע. אם המטרה היא רק לבדוק תרחיש נקודתי או שאין לכם חומרה ייעודית זמינה, החזקה של שרת כזה בענן תעלה יותר משימוש ב־API קיים שמחייב לפי טוקנים בפועל.

pip install -U huggingface_hub
hf download mistralai/Mistral-7B-Instruct-v0.3

הקבצים

15 קבצים במאגר, 27.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של המשקלים, שילוב במוצרים קנייניים והפצה מחדש, בלי לשלם תמלוגים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים ונוסח הרישיון המקורי בקוד או בהפצה שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗