deepseek-coder-33B-instruct-GGUF

קוד פתוח

TheBlokeother2023-11-04

transformers
gguf
deepseek

גרסה מכווצת למודל קוד פתוח של 33 מיליארד פרמטרים שמתמחה בתכנות. הוא מתאים למי שחייב להריץ מודל חזק מקומית בלי לחשוף קוד לרשת.

235 GBמשקל הקבצים
17,177הורדות בחודש
194לייקים

מה זה

מדובר במודל שנוצר במקור על ידי DeepSeek ואומן מאפס על שני טריליון טוקנים, כאשר 87 אחוז מהם הם קוד מקור והשאר שפה טבעית באנגלית ובסינית בלבד. גרסת ה־instruct הזו עברה כוונון עדין על עוד שני מיליארד טוקנים של הוראות, והיא מגיעה עם תמיכה מובנית בהשלמת מקטעי קוד באמצע קובץ לצד חלון הקשר של 16 אלף טוקנים ברמת הפרויקט.

המפתח TheBloke המיר אותו לפורמט GGUF במספר רמות דחיסה. זה מאפשר להריץ אותו ישירות על מעבד ומאיצים גרפיים צרכניים דרך ספריות כמו llama.cpp בלי להזדקק לחוות שרתים כבדה.

מתאים ל

השלמת קוד מקומית ב־IDE
מאפשר עבודה רציפה על פרויקטים שלמים עם חלון של 16K בלי לשלוח שורות קוד קנייניות לענן חיצוני.
סקירת קבצים ואיתור באגים
מתאים לבדיקת פונקציות מורכבות והצעת תיקונים ישירות מתוך סביבת הפיתוח הפנימית בארגון.
השלמת קוד באמצע קובץ
המשימה הזו נתמכת מהאימון המקורי, כך שהוא יודע להשלים פערים מוגדרים בין בלוקים קיימים של קוד.

איפה זה נופל

האימון כלל רק אנגלית וסינית, כך שאין טעם לפנות אליו בעברית ולצפות לתוצאות טובות. מעבר לזה, פרומפט המערכת המובנה שלו מוגדר במפורש לסרב לענות על שאלות שאינן קשורות ישירות למדעי המחשב, ובפרט שאלות שנוגעות לפוליטיקה, פרטיות ואבטחה. לא הייתי בונה עליו כעוזר כללי אלא אך ורק לכתיבת קוד.

אותה משפחה

deepseek-coder יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

deepseek-coder-6.7B-instruct-GGUF35,476 deepseek-coder-1.3b-instruct-GGUF12,942 deepseek-coder-33B-instruct-AWQ721

שאלות
נפוצות

איזה קובץ להוריד מתוך הרשימה?

האיזון המוצלח ביותר נמצא בקובץ deepseek-coder-33b-instruct.Q4_K_M.gguf. הוא דורש קצת מעל 22 ג'יגה־בייט זיכרון ומספק איכות כמעט זהה למקור. התרחקו מגרסאות ה־2 ביט כי הן מייצרות שגיאות תחביר רבות.

אפשר להריץ אותו רק על המעבד בלי כרטיס מסך?

כן, llama.cpp תומך בריצה מלאה על ה־RAM והמעבד. עם זאת, מודל של 33 מיליארד פרמטרים ירוץ בקצב איטי מאוד של טוקנים בודדים לשנייה ללא פריקת שכבות לכרטיס מסך.

איך מריצים

בשביל לקבל תוצאות טובות שווה לכוון לגרסת Q4_K_M ששוקלת 19.94 ג'יגה־בייט ודורשת לפחות 22.44 ג'יגה־בייט זיכרון, או Q5_K_M שדורשת מעל 26 ג'יגה־בייט. גרסאות ה־2 וה־3 ביט אמנם קלות יותר, אבל מגיעות עם איבוד איכות משמעותי שמורגש מיד בלוגיקת תכנות.

אפשר להריץ אותו מקומית באמצעות LM Studio, oobabooga או ישירות משורת הפקודה עם llama.cpp. אם אין לכם כרטיס מסך עם לפחות 24 ג'יגה־בייט זיכרון ייעודי כדי לפרוק אליו שכבות, מהירות הייצור תהיה איטית למדי ומוטב לשקול שימוש בשרת חיצוני.

ollama run hf.co/TheBloke/deepseek-coder-33B-instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_035.4 GB Q6_K27.4 GB Q5_K_M23.5 GB Q5_023.0 GB Q5_K_S23.0 GB Q4_K_M19.9 GB Q4_K_S18.9 GB Q4_018.8 GB Q3_K_L17.6 GB Q3_K_M16.1 GB Q3_K_S14.4 GB Q2_K14.0 GB

הקבצים

15 קבצים במאגר, 235 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר בתור other בעמוד המודל, אך כרטיס המקור מציין שהקוד כפוף ל־MIT והמודל עצמו פועל תחת רישיון ייעודי של DeepSeek שמאפשר שימוש מסחרי. לפני הטמעה במוצר סגור מומלץ לקרוא את תנאי הרישיון המקורי שלהם ברפרזטורי כדי לוודא עמידה במגבלות ההפצה.

הרישיון המלא בעמוד המודל ↗