dolphin-2.9.3-mistral-nemo-12b-gguf

מה זה

הבסיס כאן הוא מיסטרל נמו עם חלון של 128 אלף טוקנים, אבל האימון הנוכחי הוגבל לאורך רצף של 8,192 טוקנים. היוצרים בנו אותו באמצעות Axolotl ושרתי L40S, במטרה לקבל מודל שמציית להוראות, מנהל שיחה, כותב קוד ומפעיל פונקציות וכלים בצורה ראשונית.

ההבדל המרכזי מול מודלים מסחריים הוא הסרת היישור. המאמנים סיננו את הדאטהסט כדי לנקות הטיות וסירובים, והתוצאה היא כלי שמבצע כל הוראה בלי לחנך ובלי להטיף. מבחינת מבחני ביצועים אין פה עדיין נתונים רשמיים, למעט בדיקת loss שהגיעה לערך של 0.5605 בסוף שלושה סבבי אימון.

מתאים ל

• פיתוח סוכנים אוטונומיים

  תמיכה מובנית בפורמט ChatML וקריאת פונקציות בלי סירובים מיותרים באמצע ביצוע תהליכים.

• סיוע בכתיבת קוד מקומי

  רץ ישירות על החומרה המקומית עם הבנה של משימות פיתוח ואורך הקשר של 8,192 טוקנים.

• עוזר שיחה ללא צנזורה

  מענה מדויק וישיר לכל הנחיה בלי חסימות של מנגנוני בטיחות תאגידיים שמגבילים את הניסוח.

איפה זה נופל

הבעיה הגדולה כאן היא בדיוק הסיבה שבגללה אנשים מורידים אותו. המודל לא מצונזר בעליל ומבצע כל בקשה, כולל הוראות פוגעניות או לא אתיות, בלי שום מנגנון עצירה פנימי. היוצרים מדגישים שחובה להוסיף שכבת סינון ובקרה חיצונית לפני שמחברים אותו למוצר מול משתמשים. מעבר לזה, הכרטיס מציין יכולות סוכן וקריאת פונקציות ראשוניות בלבד, ולא הציג מבחני יכולת מסודרים.

אותה משפחה

dolphin-2.9.3-mistral-nemo יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

את קובצי ה־GGUF האלה מריצים ישירות על המעבד או כרטיס המסך דרך llama.cpp וסביבות תואמות כמו KoboldAI. המאגר כולל מגוון שקלולים שונים שמאפשרים לקחת גרסה מכווצת שתשב בזיכרון של כרטיס גרפי בודד עם 12 או 16 גיגה זיכרון, או לחלופין לפרוס גרסה מלאה ופחות דחוסה על גבי זיכרון המחשב.

אם יש לכם כרטיס מסך מתאים, הריצה המקומית הגיונית כדי לקבל שליטה מלאה ובלי לשלם לפי טוקן. אם אתם מחפשים יציבות מוכחת לעומסי עבודה כבדים בלי להתעסק בהגדרות שרתים, קריאה לשירות ענן מנוהל תהיה פשוטה יותר.

ollama run hf.co/dphn/dolphin-2.9.3-mistral-nemo-12b-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

17 קבצים במאגר, 126 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dolphin-2.9.3-mistral-nemo-12b.F16.gguf24.5 GB
• dolphin-2.9.3-mistral-nemo-12b.Q8_0.gguf13.0 GB
• dolphin-2.9.3-mistral-nemo-12b.Q6_K.gguf10.1 GB
• dolphin-2.9.3-mistral-nemo-12b.Q5_1.gguf9.2 GB
• dolphin-2.9.3-mistral-nemo-12b.Q5_K_M.gguf8.7 GB
• dolphin-2.9.3-mistral-nemo-12b.Q5_0.gguf8.5 GB
• dolphin-2.9.3-mistral-nemo-12b.Q5_K_S.gguf8.5 GB
• dolphin-2.9.3-mistral-nemo-12b.Q4_1.gguf7.8 GB
• dolphin-2.9.3-mistral-nemo-12b.Q4_K_M.gguf7.5 GB
• dolphin-2.9.3-mistral-nemo-12b.Q4_K_S.gguf7.1 GB
• dolphin-2.9.3-mistral-nemo-12b.Q4_0.gguf7.1 GB
• dolphin-2.9.3-mistral-nemo-12b.Q3_K_L.gguf6.6 GB
• dolphin-2.9.3-mistral-nemo-12b.Q3_K_M.gguf6.1 GB
• dolphin-2.9.3-mistral-nemo-12b.Q3_K_S.gguf5.5 GB
• dolphin-2.9.3-mistral-nemo-12b.Q2_K.gguf4.8 GB
• README.md13.0 KB
• .gitattributes1.6 KB

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים פרטיים ומסחריים, לשנות אותו ולשלב אותו במוצרים שלכם, כל עוד שומרים על תנאי הרישיון המקורי והודעת זכויות היוצרים. עם זאת, היוצרים מציינים שהאימון כלל דאטה שנוצר ממודלים כמו GPT4, והאחריות המשפטית על התוצרים מוטלת עליכם בלבד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗