deepseek-coder-6.7B-instruct-GGUF

מה זה

המודל הזה אומן מאפס על 2 טריליון טוקנים, כאשר 87 אחוזים מהם הם קוד מקור והשאר שפה טבעית באנגלית ובסינית בלבד. גרסת ה־6.7B מכוונת במיוחד למשימות פיתוח והוראות קוד, עם אימון המשך על 2 מיליארד טוקנים של הנחיות. הוא תומך בחלון הקשר של 16K ומיועד לעבוד על פרויקטים שלמים ולא רק על פונקציות בודדות.

לפי כרטיס המודל המקורי, הוא מציג ביצועים מובילים במבחני קוד פתוח כמו HumanEval ו־MBPP ביחס לקטגוריית הגודל שלו. ההמרה לקובצי GGUF מאפשרת להריץ את היכולות האלו על חומרה צרכנית רגילה, כולל מעבדים מרכזיים ללא כרטיס מסך ייעודי.

מתאים ל

• עוזר פיתוח בסביבה מקומית

  כתיבת פונקציות ודיבוג מקומי באופליין מלא, בלי לחשוף קוד פנימי לרשת.

• השלמת קוד מבוססת הקשר

  שימוש בחלון של 16K לצורך הבנת קבצי פרויקט קיימים ומילוי קטעים חסרים.

• אוטומציה בסביבות CI/CD

  הרצה קלת משקל על חומרה בסיסית לצורך בדיקת שגיאות תחביר והסבר לסקריפטים.

איפה זה נופל

פרומפט המערכת של המודל מגדיר סירוב מכוון לכל שאלה שאינה נוגעת ישירות במדעי המחשב, כולל שאלות על פרטיות, אבטחה ונושאים פוליטיים. מעבר לכך, הדאטה־סט מכיל שפה טבעית באנגלית ובסינית בלבד, כך שאי אפשר לצפות ממנו להבין הוראות בעברית או לתעד קוד בעברית בצורה סבירה. גרסאות קוונטיזציה נמוכות כמו Q2_K מאבדות דיוק תחבירי קריטי בקוד ולא מומלצות לשימוש.

אותה משפחה

deepseek-coder יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הקובץ המומלץ לרוב השימושים הוא Q4_K_M במשקל 4.08 גיגה־בייט, שדורש סביב 6.58 גיגה־בייט זיכרון עבודה בהרצה על מעבד בלבד. אם יש לכם כרטיס מסך עם לפחות 6 או 8 גיגה־בייט זיכרון ייעודי, מומלץ להעביר את כל השכבות ל־GPU ולקבל מהירות תגובה גבוהה בהרבה.

אפשר להריץ אותו מקומית בכלים כמו LM Studio, llama.cpp או ספריות פייתון תואמות. אם התחנה שלכם חלשה מזה או שאתם בונים שירות לרשת עם אלפי בקשות במקביל, הרצה מקומית ב־GGUF לא תתאים וכדאי לפנות למודל מנוהל דרך ספק ענן.

ollama run hf.co/TheBloke/deepseek-coder-6.7B-instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 47.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• deepseek-coder-6.7b-instruct.Q8_0.gguf7.2 GB
• deepseek-coder-6.7b-instruct.Q6_K.gguf5.5 GB
• deepseek-coder-6.7b-instruct.Q5_K_M.gguf4.8 GB
• deepseek-coder-6.7b-instruct.Q5_0.gguf4.7 GB
• deepseek-coder-6.7b-instruct.Q5_K_S.gguf4.7 GB
• deepseek-coder-6.7b-instruct.Q4_K_M.gguf4.1 GB
• deepseek-coder-6.7b-instruct.Q4_K_S.gguf3.9 GB
• deepseek-coder-6.7b-instruct.Q4_0.gguf3.8 GB
• deepseek-coder-6.7b-instruct.Q3_K_L.gguf3.6 GB
• deepseek-coder-6.7b-instruct.Q3_K_M.gguf3.3 GB
• deepseek-coder-6.7b-instruct.Q3_K_S.gguf3.0 GB
• deepseek-coder-6.7b-instruct.Q2_K.gguf2.8 GB
• README.md21.3 KB
• .gitattributes2.4 KB
• config.json32 B

הרישיון

בעמוד זה ברישיון מופיע 'לא דווח', אך בתיעוד המקורי של DeepSeek מצוין שהקוד ב־MIT ושימוש במודל כפוף להסכם ייעודי שמאפשר שימוש מסחרי. לפני הטמעה במוצר מומלץ לבדוק את התנאים העדכניים של קובץ הרישיון המקורי כדי לוודא עמידה בהגבלות השימוש.

הרישיון המלא בעמוד המודל ↗