dolphin-2.0-mistral-7B-GGUF

מה זה

מדובר בהמרה של דולפין 2.0, אימון מחדש של מיסטרל שביצע אריק הרטפורד, לקובצי GGUF המתאימים להרצה מקומית יעילה. המודל אומן על סט נתונים שמבוסס על אורקה של מיקרוסופט בתוספת איירובורוס, במטרה לשפר יכולות חשיבה ויצירתיות, ועבר סינון אקטיבי שנועד להסיר מנגנוני סירוב וצנזורה.

ההבדל המרכזי בינו לבין מודלים מקבילים בגודל שבעה מיליארד פרמטרים הוא הצייתנות. המודל יענה על שאלות שרוב המודלים המסחריים חוסמים מיד. כרטיס המודל לא מציג תוצאות של מבחני ביצועים מספריים, כך שקשה לדעת במדויק איך הוא מדורג מול חלופות במשימות היגיון ספציפיות, אבל הוא בנוי במיוחד למי שחייב שליטה מלאה בשיח.

מתאים ל

• עוזר מקומי ללא סירובים

  מתאים לשימוש עצמי במחשב אישי כשנמאס מהודעות סירוב של מודלים מסחריים סגורים.

• כתיבה יוצרת חופשית

  אימון המודל כולל חומרי יצירה מגוונים שמאפשרים כתיבת תסריטים ועלילות ללא חסימות תוכן.

• ניסויי מעבדה בבטיחות תוכן

  כלי טוב לבדיקת מערכות בקרה וסינון חיצוניות שאתם מפתחים בעצמכם על גבי מודל צייתן.

איפה זה נופל

הבעיה המרכזית היא חוסר מוחלט במנגנוני בטיחות מובנים. המפתח מצהיר במפורש שהמודל יענה גם לפקודות לא אתיות או מזיקות, ולכן אי אפשר לחבר אותו למשתמשי קצה בלי לבנות שכבת סינון ובקרה חיצונית משלכם. בנוסף, המודל אומן על אנגלית, כך שאין לצפות לביצועים סבירים בעברית.

איך מריצים

אין שום סיבה להוריד את כל המאגר ששוקל מעל 51 ג'יגה בייט, אלא בוחרים קובץ בודד לפי החומרה. הקבצים המומלצים הם Q4_K_M ששוקל 4.37 ג'יגה בייט ודורש קצת פחות מ־7 ג'יגה בייט זיכרון, או Q5_K_M למעט יותר דיוק במחיר של כ־5.13 ג'יגה בייט. גרסאות נמוכות מזה, כמו Q2 או Q3, סובלות מפגיעה מורגשת באיכות הפלט ולא שוות את החיסכון.

אפשר להריץ אותו דרך כלי שולחני פשוט כמו LM Studio או ישירות בסביבת פיתוח עם llama.cpp וספריות פייתון תואמות. אם יש לכם כרטיס מסך עם 8 ג'יגה בייט זיכרון ייעודי, כל המודל ייכנס אליו וירוץ במהירות גבוהה בלי צורך לפנות לשרתים חיצוניים.

ollama run hf.co/TheBloke/dolphin-2.0-mistral-7B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dolphin-2.0-mistral-7b.Q8_0.gguf7.7 GB
• dolphin-2.0-mistral-7b.Q6_K.gguf5.9 GB
• dolphin-2.0-mistral-7b.Q5_K_M.gguf5.1 GB
• dolphin-2.0-mistral-7b.Q5_0.gguf5.0 GB
• dolphin-2.0-mistral-7b.Q5_K_S.gguf5.0 GB
• dolphin-2.0-mistral-7b.Q4_K_M.gguf4.4 GB
• dolphin-2.0-mistral-7b.Q4_K_S.gguf4.1 GB
• dolphin-2.0-mistral-7b.Q4_0.gguf4.1 GB
• dolphin-2.0-mistral-7b.Q3_K_L.gguf3.8 GB
• dolphin-2.0-mistral-7b.Q3_K_M.gguf3.5 GB
• dolphin-2.0-mistral-7b.Q3_K_S.gguf3.2 GB
• dolphin-2.0-mistral-7b.Q2_K.gguf3.1 GB
• README.md19.1 KB
• .gitattributes2.4 KB
• config.json31 B

הרישיון

הרישיון הוא אפאצ'י 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ונוסח הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗