Mistral-Nemo-Instruct-2407-GGUF

קוד פתוח

MaziyarPanahiרישיון לא דווח2024-07-18

transformers
gguf
mistral
quantized
2-bit

גרסת GGUF מוכנה לריצה מקומית של המודל מבית mistralai. מתאימה למי שרוצה להריץ אותו ישירות על מעבד או כרטיס מסך ביתי דרך llama.cpp.

95.4 GBמשקל הקבצים
154,364הורדות בחודש
55לייקים

מה זה

המאגר הזה מאגד קובצי GGUF שהומרו מהמודל המקורי של mistralai, Mistral Nemo Instruct 2407. מטרת ההמרה היא לאפשר עבודה ישירה מול מנועי הסקה קלים כמו llama.cpp, בלי צורך להחזיק סביבת פייתון כבדה של טנסורפלואו או פייטורץ'.

בכרטיס המודל אין פירוט של מדדי ביצועים או השוואות למודלים אחרים, כך שאי אפשר לדעת ממנו איך הוא מתפקד בפועל במשימות ספציפיות ביחס למתחרים. מה שכן ברור זה שמדובר במודל שמכוון להוראות ומיועד ליצירת טקסט, כשהדגש כאן הוא על עצם הזמינות של המשקלים בפורמט שמתאים לכלים מקומיים מוכרים.

מתאים ל

עבודה מקומית ללא ענן
מתאים לריצה מבודדת על המחשב בעזרת llama.cpp או LM Studio, למי שרוצה פרטיות מלאה.
שרת פנימי עם ממשק OpenAI
אפשר להרים שרת מקומי עם llama-cpp-python שמספק נקודת קצה לפיתוח בלי תלות ברשת.
ניסויים בכלי ממשק פתוחים
משתלב בקלות בתוכנות כמו text-generation-webui ו־KoboldCpp לצורך בדיקת הנחיות.

איפה זה נופל

היוצר לא פרסם פרטים לגבי המגבלות של המודל, יכולות השפה שלו בעברית, גודל ההקשר או רמת הדיוק שלו. המשמעות היא שחובה לבדוק אותו עצמאית לפני שמשלבים אותו במערכת אמיתית, במיוחד אם אתם בונים על עברית תקינה או מענה מדויק לעובדות.

שאלות
נפוצות

צריך להוריד את כל 95 הגיגה בייט כדי להשתמש במודל?

ממש לא. המאגר כולל 15 קבצים שמייצגים רמות שונות של דחיסה וכימות. אתם בוחרים ומורידים רק קובץ בודד שמתאים לגודל הזיכרון שיש לכם במחשב.

האם המודל מגיע מוכן לשימוש מסחרי?

אי אפשר לדעת לפי העמוד הזה, כי שדה הרישיון ריק. כדי לוודא אם מותר להשתמש בו במוצר מסחרי, חייבים לבדוק את תנאי הרישיון בעמוד המקורי של mistralai.

איך מריצים

כדי להריץ אותו, מורידים את אחד מקובצי ה־GGUF וטוענים אותו לכלים כמו llama.cpp, LM Studio, KoboldCpp או דרך ספריית llama-cpp-python בקוד. משקל כלל הקבצים במאגר מגיע ל־95.4 גיגה בייט ב־15 קבצים, אבל מורידים רק קובץ כימות אחד שמתאים לזיכרון שלכם ולא את כולם.

הריצה דורשת חומרה שמסוגלת להחזיק את הקובץ הנבחר בזיכרון ה־RAM או ב־VRAM של כרטיס המסך. אם אין לכם מחשב ייעודי עם מספיק זיכרון להרצה חלקה, עדיף להשתמש ב־API מרוחק במקום להתמודד עם זמני תגובה איטיים על מעבד רגיל.

ollama run hf.co/MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Mistral-Nemo-Instruct-2407.fp1624.5 GB Q8_013.0 GB Q6_K10.1 GB Q5_K_M8.7 GB Q5_K_S8.5 GB Q4_K_M7.5 GB Q4_K_S7.1 GB Q3_K_L6.6 GB Q3_K_M6.1 GB Q3_K_S5.5 GB Q2_K4.8 GB

הקבצים

15 קבצים במאגר, 95.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בעמוד המודל לא דווח רישיון כלל. כשאין רישיון מוגדר, מבחינה משפטית אין אישור ברור לשימוש מסחרי או להפצה במוצר. לפני שמשלבים אותו בקוד ארגוני, צריך לבדוק את הרישיון המקורי של mistralai במודל המקור כדי להבין מה מותר ומה אסור.

הרישיון המלא בעמוד המודל ↗