dolphin-2.6-mistral-7B-GGUF

מה זה

המאגר הזה מכיל המרות של דולפין 2.6, מודל של Cognitive Computations שעבר אימון על בסיס מיסטרל 7B בעזרת qLoRA במשך יומיים על ארבעה מעבדי A100. הדגש המרכזי באימון היה כתיבת קוד, לצד הוספת דאטה של שיחות אמפתיות והחלפת מקורות נתונים ישנים בערכות נתונים כמו Capybara. הפורמט לשיחה הוא ChatML, כאשר המודל מוגדר לשימוש עם הקשר בסיסי של 16K טוקנים.

ההבדל העיקרי מול מודלים רגילים באותו גודל הוא הסרת מנגנוני הסינון וההטיה. היוצר ניקה את הנתונים כדי שהמודל לא יסרב לשאלות, מה שהופך אותו לצייתן במיוחד, אבל כזה שדורש ממך לנהל את הסיכונים בעצמך אם אתה חושף אותו למשתמשי קצה.

מתאים ל

• עוזר מקומי לכתיבת קוד

  מתאים לסביבת פיתוח מקומית בלי תלות ברשת, בזכות אימון ייעודי על נתוני תכנות.

• צ'אטבוט עצמאי ללא צנזורה

  מגיב ישירות לכל בקשה ומבצע פקודות מערכת מורכבות בלי סירובים מובנים.

• סוכן בדיקות ואבטחה

  מסייע במחקר חולשות ובדיקות חדירות שבהן מודלים מסחריים רגילים נוטים לחסום את השאילתות.

איפה זה נופל

המודל מוגדר כלא מצונזר ולא עבר אימון מסוג DPO. זה אומר שהוא יענה לכל הוראה בלי שום גבולות מוסריים או חוקיים, ואם צריך כיוונון עדין של התשובות תצטרך לדחוף אותו לזה בהנחיות המערכת. אסור לחבר אותו למשתמשי קצה בלי לבנות שכבת בקרה נפרדת מסביבו. בנוסף, האימון מיועד לשפה האנגלית, וגרסאות הכיווץ הנמוכות כמו Q2_K או Q3 סובלות מירידה ניכרת באיכות הפלט.

איך מריצים

אין צורך להוריד את כל המאגר ששוקל מעל 51 ג'יגה. בוחרים קובץ בודד לפי החומרה שיש לך, כשההמלצה הישירה היא גרסת Q4_K_M ששוקלת 4.37 ג'יגה ודורשת כמעט 7 ג'יגה זיכרון עבודה בהרצה על המעבד בלבד. אם יש לך כרטיס מסך עם מספיק זיכרון וידאו, מעבירים אליו שכבות כדי לקבל קצב תגובה סביר, או עולים לגרסאות Q5_K_M שלוקחות קצת יותר מ־7.5 ג'יגה זיכרון.

ההרצה עצמה עובדת חלק דרך llama.cpp בפקודת שורה פשוטה, או דרך כלים עם ממשק מקומי כמו LM Studio, Text Generation WebUI או KoboldCpp. למפתחי פייתון עדיף להשתמש בספריית llama-cpp-python ולא ב־ctransformers הישנה שלא עודכנה.

ollama run hf.co/TheBloke/dolphin-2.6-mistral-7B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dolphin-2.6-mistral-7b.Q8_0.gguf7.7 GB
• dolphin-2.6-mistral-7b.Q6_K.gguf5.9 GB
• dolphin-2.6-mistral-7b.Q5_K_M.gguf5.1 GB
• dolphin-2.6-mistral-7b.Q5_0.gguf5.0 GB
• dolphin-2.6-mistral-7b.Q5_K_S.gguf5.0 GB
• dolphin-2.6-mistral-7b.Q4_K_M.gguf4.4 GB
• dolphin-2.6-mistral-7b.Q4_K_S.gguf4.1 GB
• dolphin-2.6-mistral-7b.Q4_0.gguf4.1 GB
• dolphin-2.6-mistral-7b.Q3_K_L.gguf3.8 GB
• dolphin-2.6-mistral-7b.Q3_K_M.gguf3.5 GB
• dolphin-2.6-mistral-7b.Q3_K_S.gguf3.2 GB
• dolphin-2.6-mistral-7b.Q2_K.gguf3.1 GB
• README.md23.2 KB
• .gitattributes2.4 KB
• config.json31 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים, כל עוד שומרים על תנאי הרישיון המקוריים ומתן הקרדיט הנדרש. כיוון שהמודל לא מסנן תכנים, היוצר מבהיר שהאחריות המשפטית על הפלטים חלה כולה על מי שמריץ ומפיץ את השירות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗