lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF

מה זה

מדובר בהמרה של DeepSeek-Coder-V2-Lite-Instruct לפורמט GGUF בעזרת llama.cpp, שמיועדת ספציפית לכתיבת קוד ולמענה על שאלות במדעי המחשב. המודל בנוי בארכיטקטורת תערובת מומחים עם 16 מיליארד פרמטרים בסך הכול, אבל בפועל רק 2.4 מיליארד פרמטרים מופעלים בכל טוקן, מה שמקצר משמעותית את זמני הריצה בהשוואה למודלים מלאים בגודל דומה.

הבסיס שלו אומן על 6 טריליון טוקנים כדי לחזק ביצועים במתמטיקה ובפיתוח תוכנה. ההבדל המרכזי כאן מול מודלים קטנים אחרים הוא השילוב בין גודל פעיל נמוך מאוד לבין חלון הקשר של 128k טוקנים, שמאפשר להזין תיעוד רחב או קבצי קוד ארוכים למעקב הוראות והשלמת קוד.

מתאים ל

• השלמת קוד מקומית

  מפעיל רק 2.4 מיליארד פרמטרים בזמן אמת, ולכן מחזיר הצעות קוד מהר בלי להעמיס על המחשב.

• קריאת קבצי קוד ארוכים

  תומך בחלון הקשר של 128k טוקנים, מה שמאפשר לנתח מודולים שלמים ומסמכי פיתוח בבת אחת.

• פתרון בעיות באלגוריתמים

  אומן על טריליוני טוקנים של מתמטיקה ותוכנה לצורך מענה מדויק על חישובי לוגיקה.

איפה זה נופל

יש פה מלכודת בפרומפט הרשמי. התבנית המקורית נוטה להוציא תשובות בסינית, ולכן צריך להשתמש בהגדרת הפרומפט הייעודית של Deepseek Coder שמגבילה אותו לענות באנגלית וסביב מדעי המחשב בלבד. בנוסף, חובה לנטרל את Flash attention, כך שאי אפשר לנצל את האופטימיזציה הזו לזיכרון בזמן ריצה מקומית.

איך מריצים

כדי להריץ אותו צריך גרסה 0.2.25 ומעלה של LM Studio. דרישה טכנית קריטית היא לכבות לחלוטין את Flash attention בהגדרות, אחרת המודל פשוט לא יעבוד.

בסך הכול יש כאן 9 קבצים במשקל כולל של 72.2 גיגה בייט שמכילים רמות כימות שונות, כך שאפשר לבחור קובץ בודד לפי כמות הזיכרון הפנויה במחשב. אם אין לכם חומרה מקומית שיכולה להחזיק משקלים כאלה בזיכרון, פנייה לשרת מרוחק תחסוך את הורדת הקבצים וההתעסקות בהגדרות.

ollama run hf.co/lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

9 קבצים במאגר, 72.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-Coder-V2-Lite-Instruct-Q8_0.gguf16.7 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q6_K.gguf14.1 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q5_K_M.gguf11.9 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q4_K_M.gguf10.4 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ4_XS.gguf8.6 GB
• DeepSeek-Coder-V2-Lite-Instruct-Q3_K_L.gguf8.5 GB
• DeepSeek-Coder-V2-Lite-Instruct-IQ3_M.gguf7.6 GB
• README.md4.5 KB
• .gitattributes3.5 KB

הרישיון

הרישיון הרשמי מוגדר כ־other, כלומר תנאי שימוש מותאמים אישית שלא זהים לרישיונות קוד פתוח סטנדרטיים. לפני שמשלבים אותו במוצר מסחרי או מפיצים אותו הלאה, חובה לבדוק את תנאי הרישיון במאגר המקורי של DeepSeek כדי לראות אם יש הגבלות על שימוש מסחרי.

הרישיון המלא בעמוד המודל ↗