lmstudio-community/Mistral-7B-Instruct-v0.3-GGUF
קוד פתוחlmstudio-communityapache-2.02024-05-22
גרסת GGUF מעודכנת של מיסטרל שמביאה תמיכה מובנית בהפעלת פונקציות. היא שומרת על חלון הקשר של 32k טוקנים ומתאימה למי שרוצה לבנות סוכן מקומי בלי לשלם על כל קריאה.
- 59.0 GBמשקל הקבצים
- 16,476הורדות בחודש
- 53לייקים
מה זה
מדובר באריזה של המודל של מיסטרל בפורמט GGUF, שמיועדת להרצה ישירה דרך llama.cpp או תוכנות כמו LM Studio. השינוי העיקרי מול גרסה 0.2 הוא הוספת תמיכה ישירה בהפעלת פונקציות, מה שמאפשר לחבר את המודל לכלים חיצוניים ולהריץ משימות מורכבות יותר ולא רק לענות על שאלות כלליות.
המודל כולל טוקנייזר חדש ואוצר מילים מורחב של 32,768 טוקנים, שכולל מזהים ספציפיים עבור הגדרת כלים, קריאה להם והחזרת תוצאות. הוא שומר על חלון הקשר של 32,768 טוקנים מגרסה 0.2, כך שאפשר להזין לו מסמכים יחסית ארוכים לצד רשימת הפונקציות שהוא יכול להפעיל.
מתאים ל
- עוזר מקומי עם כלים
חיבור המודל ל־APIs חיצוניים או למסד נתונים מקומי באמצעות טוקנים ייעודיים להפעלת פונקציות.
- עיבוד טקסטים ארוכים
ניתוח מסמכים ותמצות תוכן שנכנסים בתוך חלון ההקשר של 32,768 טוקנים.
- בוט פנימי לחברות
הרצה מקומית ומאובטחת ללא הוצאת מידע רגיש החוצה, תחת רישיון שמאפשר שימוש מסחרי מלא.
איפה זה נופל
הטוקנייזר החדש דורש תאימות מלאה של הכלי שבו אתם מריצים את הקובץ. אם התוכנה שלכם ישנה או לא מעודכנת לגרסת llama.cpp התומכת, המודל פשוט לא יבין את תבנית הפונקציות ויזרוק טקסט שבור. בנוסף, מודל 7B מוגבל ביכולת ההיגיון שלו, ולכן בהפעלת פונקציות מורכבות או מרובות שלבים הוא עלול לטעות בפרמטרים או להמציא קריאות.
שאלות
נפוצות
האם צריך להוריד את כל 59 הגיגה בייט כדי להשתמש במודל?
לא. המשקל הכולל נובע מכך שהמאגר מכיל עשרה קבצים שונים שכל אחד מהם מייצג רמת כימות אחרת. מורידים רק קובץ GGUF אחד ברמת הדיוק שמתאימה לחומרה ולזיכרון שלכם.
במה גרסה 0.3 שונה מגרסה 0.2 הקודמת?
גרסה 0.3 מציגה טוקנייזר חדש, הגדלה של אוצר המילים ל־32,768, ותמיכה מובנית ב־Function Calling דרך טוקנים מיוחדים. אורך ההקשר נשאר זהה על 32,768 טוקנים.
איך צריך לבנות את הפרומפט כדי שהמודל יבין את ההוראות?
המודל מאומן לעבוד עם תבנית מוגדרת שמתחילה בטוקן פתיחה ומכילה תגיות ייעודיות להוראות. בתוכנות כמו LM Studio פשוט בוחרים את הפריסט של Mistral Instruct כדי שהפורמט ייבנה אוטומטית.
איך מריצים
המודל הזה נארז על ידי משתמש בשם bartowski ומחולק לעשרה קבצים ששוקלים יחד 59 גיגה בייט, שכוללים רמות כימות שונות. כדי להריץ גרסה מכומתת של 7B תצטרכו לרוב בין 4 ל־8 גיגה בייט של זיכרון כרטיס מסך, בהתאם לקובץ שתבחרו מתוך המאגר, אבל אין צורך להוריד את כל ה־59 גיגה בייט.
אם אתם צריכים זמני תגובה אפסיים או עומס כבד של משתמשים במקביל ואין לכם שרת ייעודי, עדיף להשתמש ב־API מנוהל של מיסטרל במקום לנסות להחזיק תשתית מקומית.
ollama run hf.co/lmstudio-community/Mistral-7B-Instruct-v0.3-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
10 קבצים במאגר, 59.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- Mistral-7B-Instruct-v0.3-f32.gguf29.0 GB
- Mistral-7B-Instruct-v0.3-Q8_0.gguf7.7 GB
- Mistral-7B-Instruct-v0.3-Q6_K.gguf5.9 GB
- Mistral-7B-Instruct-v0.3-Q5_K_M.gguf5.1 GB
- Mistral-7B-Instruct-v0.3-Q4_K_M.gguf4.4 GB
- Mistral-7B-Instruct-v0.3-IQ4_NL.gguf4.1 GB
- Mistral-7B-Instruct-v0.3-Q3_K_L.gguf3.8 GB
- Mistral-7B-Instruct-v0.3-IQ3_M.gguf3.3 GB
- README.md3.6 KB
- .gitattributes3.3 KB
הרישיון
המודל משוחרר תחת רישיון apache-2.0. זהו רישיון פתוח שמתיר שימוש מסחרי, שינוי של הקוד והפצה מחדש בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים