DeepSeek-Coder-V2-Lite-Instruct-GGUF

מה זה

הריפוזיטורי הזה מכיל המרות שונות בפורמט GGUF למודל הקוד DeepSeek-Coder-V2-Lite-Instruct, שבוצעו באמצעות llama.cpp עם imatrix. מדובר במודל שמיועד להפקת קוד ולהבנת פקודות בשפות תכנות, כשהמטרה של הקבצים כאן היא לתת מענה למי שרוצה להריץ את העסק מקומית דרך מעבד גרפי או זיכרון המחשב הרגיל.

במקום לקחת את המשקלים הגולמיים הכבדים, bartowski מציע כאן מעל עשרים קבצי כיול וכימות שונים, החל מגרסאות דחוסות מאוד של שני ביטים ועד לגרסאות איכות גבוהה של שמונה ביטים. המשמעות היא שאתם בוחרים קובץ בודד לפי כמות הזיכרון שיש לכם בפועל, במקום להוריד את כל נפח הענק של הריפוזיטורי.

מתאים ל

• השלמת קוד מקומית

  קובץ Q4_K_M מתאים להרצה על כרטיס מסך בודד לעבודה מקומית ללא שליחת קוד החוצה.

• הרצה על חומרה חלשה

  גרסאות ה־IQ2 וה־IQ3 יורדות מתחת לשמונה גיגה ומאפשרות בדיקות מהירות על מחשבים פשוטים.

• בדיקות איכות מקסימליות

  גרסאות Q8 מספקות שחזור כמעט מלא של משקלי המקור למי שמחזיק מעל שבעה עשר גיגה זיכרון פנוי.

איפה זה נופל

הגרסאות הדחוסות מאוד מתחת לערכי ארבעה ביטים, ובמיוחד קבצי ה־Q2 וה־Q3 הנמוכים, מאבדות דיוק תחבירי ועלולות לייצר שגיאות קוד מעצבנות. בנוסף, קבצי ה־I-quants החדשים אינם תואמים ל־Vulkan, ועל מעבדים רגילים או בסביבת Apple Metal הם רצים לאט יותר בהשוואה לגרסאות ה־K הרגילות. חשוב גם לזכור שהמודל מחייב שימוש בתבנית הפרומפט הספציפית שהוגדרה בכרטיס, אחרת איכות התשובות נפגעת מיד.

איך מריצים

אתם צריכים לבחור קובץ אחד בלבד. הגדלים נעים בין 5.96 גיגה בייט בגרסת IQ2_XS ועד 17.09 גיגה בייט בגרסת Q8_0_L, כשהאיזון המומלץ לרוב כרטיסי המסך הביתיים נמצא סביב Q4_K_M שלוקח 10.36 גיגה בייט.

כדי שההרצה תהיה מהירה, המודל חייב להיכנס במלואו לתוך הזיכרון של כרטיס המסך, עם מרווח ביטחון של גיגה או שניים. אם יש לכם כרטיס עם 12 או 16 גיגה זיכרון, הגרסאות הבינוניות יעבדו חלק, אבל אם אתם נאלצים לזלוג לזיכרון הראשי של המחשב, קצב יצירת הטקסט יצנח משמעותית.

ollama run hf.co/bartowski/DeepSeek-Coder-V2-Lite-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

26 קבצים במאגר, 252 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-Coder-V2-Lite-Instruct-f32.gguf/DeepSeek-Coder-V2-Lite-Instruct-f32-00001-of-00002.gguf39.4 GB
• DeepSeek-Coder-V2-Lite-Instruct-f32.gguf/DeepSeek-Coder-V2-Lite-Instruct-f32-00002-of-00002.gguf23.4 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q8_0_L.gguf17.1 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q8_0.gguf16.7 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q6_K_L.gguf14.6 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q6_K.gguf14.1 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q5_K_L.gguf12.4 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q5_K_M.gguf11.9 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q5_K_S.gguf11.1 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q4_K_L.gguf10.9 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q4_K_M.gguf10.4 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q4_K_S.gguf9.5 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ4_XS.gguf8.6 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q3_K_L.gguf8.5 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q3_K_M.gguf8.1 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ3_M.gguf7.6 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q3_K_S.gguf7.5 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ3_XS.gguf7.1 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ3_XXS.gguf7.0 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q2_K.gguf6.4 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ2_M.gguf6.3 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ2_S.gguf6.0 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ2_XS.gguf6.0 GB
• DeepSeek-Coder-V2-Lite-Instruct.imatrix38.4 MB
• README.md9.1 KB
• .gitattributes3.6 KB

הרישיון

הרישיון הרשום בכרטיס הוא other בלבד, ללא פירוט של תנאי השימוש המקוריים או היתר מפורש לשימוש מסחרי. לפני שמשלבים את הקבצים האלה במוצר עסקי, חובה לבדוק את הרישיון המקורי בעמוד הרשמי של deepseek-ai כדי להבין אילו הגבלות חלות על הפצה ושימוש בתוצרים.

הרישיון המלא בעמוד המודל ↗