dolphin-2.6-mistral-7B-dpo-laser-GGUF

מה זה

מדובר בעיבוד GGUF למודל של Cognitive Computations, שנבנה על גבי Mistral 7B עם חלון הקשר של 16k. המפתחים שילבו כאן אימון DPO יחד עם טכניקת LASER, שמשתמשת בפירוק SVD כדי להפחית רעש בשכבות המודל ולחדד את יכולות ההסקה שלו. לפי הדיווח שלהם, השילוב הזה הביא לציונים גבוהים יותר מהגרסאות הקודמות של דולפין, ואמור לייצר תשובות יציבות ומדויקות יותר תחת אותה ארכיטקטורה.

המאפיין המרכזי כאן הוא היעדר צנזורה מכוון. המפתחים ניקו מהדאטהסט שכבות יישור וערכי בטיחות מקובלים, כך שהמודל לא מתווכח, לא מטיף מוסר ועונה ישירות על כל בקשה. הפורמט של TheBloke מאפשר לקחת את היכולת הזו ולהריץ אותה מקומית בקבצים מכווצים, במקום להחזיק משקלי עבודה מלאים וכבדים שדורשים כרטיסי מסך יקרים של שרתים.

מתאים ל

• בוט שיחה חופשי מצנזורה

  מענה ישיר להוראות מורכבות בלי סירובים או הטפות מוסר שמופיעים במודלים מסחריים.

• עוזר מקומי על חומרה ביתית

  הרצה שקטה בתוך תוכנות קיימות עם קובץ שדורש פחות משבעה גיגה זיכרון.

• סימולציות ומשחקי תפקידים

  בניית דמויות שמגיבות באופן אמין לסיטואציות קיצוניות בלי חסימות תוכן אוטומטיות.

איפה זה נופל

היתרון של המודל הוא גם החולשה הכי מסוכנת שלו. הוא חסר סינונים לחלוטין, מה שאומר שהוא יבצע כל פקודה, כולל בקשות זדוניות, פוגעניות או לא חוקיות. מי שמתכנן להוציא אותו לשירות חיצוני חייב לבנות שכבת בדיקות וסינון משלו. בנוסף, נתוני הכרטיס מראים שהאימון מיועד לאנגלית בלבד, ואין שום התחייבות רשמית לגבי ביצועים בשפות אחרות או שימור עקביות במשימות מורכבות.

איך מריצים

בשביל להריץ אותו מקומית מורידים קובץ בודד בהתאם לזיכרון הפנוי. הגרסה המאוזנת והמומלצת לרוב המשתמשים היא Q4_K_M, ששוקלת 4.37 גיגה ומבקשת בערך 6.87 גיגה זיכרון עבודה אם מריצים רק על המעבד, או נכנסת בקלות לכרטיס מסך ביתי עם 8 גיגה VRAM. אם המשאבים מוגבלים אפשר לרדת ל־Q3_K_M, אבל ב־Q2_K כבר יש אובדן איכות משמעותי.

טוענים את הקובץ ישירות בתוכנות כמו LM Studio, KoboldCpp או llama.cpp, עם תבנית ChatML שמגדירה את תפקידי המערכת, המשתמש והעוזר. אתם יכולים לדחוף שכבות לכרטיס המסך כדי להאיץ את קצב הפליטה. הרצה מקומית כזו מתאימה לפרטיות מוחלטת ולניסויים, אבל אם צריך לשרת משתמשים רבים במקביל, כנראה שעדיף לשלם על תשתית ענן ייעודית.

ollama run hf.co/TheBloke/dolphin-2.6-mistral-7B-dpo-laser-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dolphin-2.6-mistral-7b-dpo-laser.Q8_0.gguf7.7 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q6_K.gguf5.9 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q5_K_M.gguf5.1 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q5_0.gguf5.0 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q5_K_S.gguf5.0 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q4_K_M.gguf4.4 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q4_K_S.gguf4.1 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q4_0.gguf4.1 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q3_K_L.gguf3.8 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q3_K_M.gguf3.5 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q3_K_S.gguf3.2 GB
• dolphin-2.6-mistral-7b-dpo-laser.Q2_K.gguf3.1 GB
• README.md24.8 KB
• .gitattributes2.5 KB
• config.json31 B

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמתיר שימוש חופשי ופתוח, כולל שימוש מסחרי מלא. אתם יכולים לשנות אותו, להטמיע אותו בתוך מוצר ולמכור גישה אליו, בתנאי שאתם מצרפים עותק של הרישיון המקורי ומציינים את זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗