Mistral-7B-Instruct-v0.3-GGUF
קוד פתוחMaziyarPanahiרישיון לא דווח2024-05-22
גרסת GGUF מוכנה לשימוש מקומי של מודל ההוראות הפופולרי מבית מיסטרל. היא מתאימה למי שרוצה להריץ שרת עצמאי על מעבד או כרטיס מסך בודד.
- 67.6 GBמשקל הקבצים
- 162,071הורדות בחודש
- 148לייקים
מה זה
המאגר הזה מציג המרה ישירה לפורמט GGUF של המודל Mistral-7B-Instruct-v0.3 שפותח במקור על ידי חברת mistralai. המטרה כאן היא לא לאמן משהו חדש אלא לקחת את מודל הבסיס של שבעה מיליארד פרמטרים, ולאפשר הרצה ישירה שלו באמצעות llama.cpp וספריות תואמות בלי להסתבך עם סביבות פייתון כבדות.
הקובץ המקורי עבר אריזה מחדש בתשע עשרה גרסאות שונות כדי לאפשר הרצה במגוון רמות דיוק ודחיסה. המודל עצמו מיועד למשימות של יצירת טקסט ומענה להוראות, אבל הדף לא מציג תוצאות מבחנים או מדדים השוואתיים שמראים איך הוא מתפקד מול גרסאות קודמות. אם אתם בונים שירות מקומי שדורש מהירות גבוהה על חומרה צנועה, הפורמט הזה עוקף את הצורך בשרתי ענן יקרים וחוסך התעסקות עם תלויות מורכבות.
מתאים ל
- עוזר מקומי פרטי
הרצה מקומית מלאה ללא חיבור רשת שומרת על המידע האישי שלכם במחשב.
- שרת פנימי קל משקל
מענה זול ומהיר לפניות טקסט פשוטות ישירות דרך llama.cpp.
- פיתוח אפליקציות שולחניות
שילוב יכולות טקסט בתוך תוכנה מקומית באמצעות LM Studio או KoboldCpp.
איפה זה נופל
בדף המודל אין פירוט על מגבלות הדיוק, כמות ההזיות או התנהגות השפה בעברית, ולכן חובה לבדוק אותו בעצמכם על הטקסטים שלכם לפני שמשלבים אותו בקוד. המאגר מכיל רק קבצים שהומרו ולא דיווח על כוונון ייעודי, כך שאין כאן שום הבטחה לסינון תוכן או עמידה בהוראות מורכבות במיוחד.
שאלות
נפוצות
האם צריך להוריד את כל 67.6 הג'יגה-בייט של המאגר?
ממש לא. המאגר מחזיק תשעה עשר קבצים שונים שכל אחד מהם מייצג רמת כימות אחרת של אותו מודל. אתם בוחרים ומורידים רק קובץ יחיד שמתאים לנפח הזיכרון שיש לכם במחשב.
איזו תוכנה הכי פשוטה להרצה של הקובץ הזה במחשב האישי?
למי שמחפש ממשק גרפי נוח בלי לכתוב שורת קוד אחת, LM Studio או GPT4All יעשו את העבודה בכמה לחיצות. למפתחים שרוצים לבנות שירות, llama.cpp או llama-cpp-python יתנו ביצועים ושליטה טובה בהרבה.
איך מריצים
כדי להריץ את הקבצים בפועל צריך כלי שתומך בפורמט כמו llama.cpp, LM Studio או ספריית llama-cpp-python. לא מורידים את כל ששים ושבעה הג'יגה שיש במאגר, אלא בוחרים קובץ בודד שמתאים לגודל הזיכרון שלכם. מודל של שבעה מיליארד פרמטרים בכימות ממוצע רץ בקלות על שמונה עד שישה עשר ג'יגה בייט של זיכרון עבודה או זיכרון כרטיס מסך.
אם אתם צריכים תפוקה לעשרות משתמשים במקביל או שאין לכם כרטיס גרפי סביר, עדיף לפנות ישירות לשרת מנוהל דרך API. הרצה מקומית משתלמת בעיקר כשחייבים פרטיות מוחלטת או כשרוצים לעבוד אופליין לגמרי בלי לשלם על כל קריאה.
ollama run hf.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
19 קבצים במאגר, 67.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- Mistral-7B-Instruct-v0.3.fp16.gguf14.5 GB
- Mistral-7B-Instruct-v0.3.Q8_0.gguf7.7 GB
- Mistral-7B-Instruct-v0.3.Q6_K.gguf5.9 GB
- Mistral-7B-Instruct-v0.3.Q5_K_M.gguf5.1 GB
- Mistral-7B-Instruct-v0.3.Q5_K_S.gguf5.0 GB
- Mistral-7B-Instruct-v0.3.Q4_K_M.gguf4.4 GB
- Mistral-7B-Instruct-v0.3.Q4_K_S.gguf4.1 GB
- Mistral-7B-Instruct-v0.3.IQ4_XS.gguf3.9 GB
- Mistral-7B-Instruct-v0.3.Q3_K_L.gguf3.8 GB
- Mistral-7B-Instruct-v0.3.Q3_K_M.gguf3.5 GB
- Mistral-7B-Instruct-v0.3.Q3_K_S.gguf3.2 GB
- Mistral-7B-Instruct-v0.3.IQ3_XS.gguf3.0 GB
- Mistral-7B-Instruct-v0.3.Q2_K.gguf2.7 GB
- Mistral-7B-Instruct-v0.3.IQ2_XS.gguf2.2 GB
- Mistral-7B-Instruct-v0.3.IQ1_M.gguf1.8 GB
- Mistral-7B-Instruct-v0.3.IQ1_S.gguf1.6 GB
- README.md3.2 KB
- .gitattributes2.7 KB
- config.json31 B
הרישיון
בדף המודל לא דווח רישיון כלל. המשמעות ברורה, מבחינה משפטית אין לכם הרשאה מפורשת להשתמש בקבצים האלה למוצר מסחרי, ומומלץ לבדוק את תנאי השימוש של מודל המקור mistralai/Mistral-7B-Instruct-v0.3 לפני שמשלבים אותו בסביבה ארגונית.