DeepSeek-V3-GGUF

מה זה

מדובר בהמרה של מודל מומחים ענק עם 671 מיליארד פרמטרים בסך הכל, שמתוכם 37 מיליארד פעילים בכל טוקן. הדף הזה מרכז גרסאות מכווצות של המודל, מגרסה דחוסה במיוחד ועד גרסאות ששומרות על דיוק גבוה. המודל הבסיסי מציג ביצועים גבוהים מאוד במבחני קוד ומתמטיקה, עם תוצאות כמו 65.2 אחוז במבחן התכנות HumanEval וציון של 89.3 אחוז במבחן המתמטיקה GSM8K, לצד חלון הקשר של 128 אלף טוקנים.

היתרון בארכיטקטורת המומחים הוא שמחשבים רק חלק קטן מהרשת בכל רגע, מה שמקל על שלב החישוב. למרות זאת, עדיין צריך להחזיק את כל המשקלים בזיכרון. הגרסאות האלו מיועדות ספציפית למי שרוצה לעבוד דרך llama.cpp ומחפש דרך מעשית לדחוס את המודל לזיכרון הקיים אצלו במקום להחזיק חוות שרתים.

מתאים ל

• מחקר מקומי של מודלים ענקיים

  ניתוח התנהגות של מודל מומחים ענק בסביבה סגורה בלי תלות ברשת.

• פיתוח כלי קוד מקומיים

  מנוע להשלמת קוד בארגונים עם דרישות אבטחה קפדניות שלא מאפשרות API.

• בדיקות כיווץ והרצה

  בחינת יכולות הסריאל והתמודדות של llama.cpp עם מודלים מעל 600B.

איפה זה נופל

הבעיה המרכזית כאן היא הנפח הפיזי. גם הגרסה הכי מכווצת שוקלת מעל 200 גיגה בייט, ופריקה של חמש שכבות בלבד לכרטיס מסך ביתי תגרום לקצב ייצור טוקנים אטי מאוד שאינו מתאים למוצר בזמן אמת. בנוסף, בספריית transformers הרגילה המודל עדיין לא נתמך ישירות לפי התיעוד, ויש להקפיד על הגדרות מדויקות של זיכרון המטמון בגלל שחלק מהפורמטים פשוט לא עובדים.

אותה משפחה

DeepSeek יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים בפורמט הזה דורשים שטח אחסון עצום שנע בין 207 גיגה בייט לגרסה הכי מכווצת, ועד 712 גיגה בייט לגרסת שמונה ביט. לפי התיעוד, את הגרסה הקלה ביותר אפשר להריץ עם שילוב של זיכרון מעבד וכרטיס מסך בנפח כולל של סביב 40 גיגה בייט, כאשר כרטיס בודד כמו RTX 4090 עם 24 גיגה בייט מאפשר לפרוק אליו חמש שכבות בלבד.

מריצים את הקבצים דרך llama-cli עם תמיכה במטמון מסוג K בלבד, תוך שימוש בתבנית השיחה המקורית של המודל. אם אין לכם מאגר זיכרון מהיר בנפח של מאות גיגה בייטים ומספר מעבדים גרפיים, הריצה המקומית תהיה אטית להחריד, וברוב המקרים עדיף להשתמש בגישה לממשק הקיים של דיפסיק.

ollama run hf.co/unsloth/DeepSeek-V3-GGUF:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

66 קבצים במאגר, 2.7 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00009-of-00010.gguf50.0 GB
• DeepSeek-V3-Q2_K_L/DeepSeek-V3-Q2_K_L-00001-of-00005.gguf49.6 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00001-of-00010.gguf49.6 GB
• DeepSeek-V3-Q2_K_L/DeepSeek-V3-Q2_K_L-00004-of-00005.gguf48.9 GB
• DeepSeek-V3-Q2_K_L/DeepSeek-V3-Q2_K_L-00003-of-00005.gguf48.8 GB
• DeepSeek-V3-Q2_K_L/DeepSeek-V3-Q2_K_L-00002-of-00005.gguf48.5 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00003-of-00010.gguf48.5 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00004-of-00010.gguf48.5 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00005-of-00010.gguf48.5 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00006-of-00010.gguf48.5 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00007-of-00010.gguf48.5 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00008-of-00010.gguf48.5 GB
• DeepSeek-V3-Q5_K_M/DeepSeek-V3-Q5_K_M-00002-of-00010.gguf48.5 GB
• DeepSeek-V3-Q2_K_L/DeepSeek-V3-Q2_K_L-00005-of-00005.gguf48.4 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00003-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00004-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00005-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00006-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00007-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00008-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00009-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00010-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00011-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00002-of-00012.gguf47.2 GB
• DeepSeek-V3-Q6_K/DeepSeek-V3-Q6_K-00001-of-00012.gguf47.1 GB
• DeepSeek-V3-Q3_K_M/DeepSeek-V3-Q3_K_M-00003-of-00007.gguf47.0 GB
• DeepSeek-V3-Q3_K_M/DeepSeek-V3-Q3_K_M-00005-of-00007.gguf47.0 GB
• DeepSeek-V3-Q4_K_M/DeepSeek-V3-Q4_K_M-00006-of-00009.gguf46.1 GB
• DeepSeek-V3-Q4_K_M/DeepSeek-V3-Q4_K_M-00002-of-00009.gguf46.0 GB
• DeepSeek-V3-Q3_K_M/DeepSeek-V3-Q3_K_M-00004-of-00007.gguf46.0 GB
• DeepSeek-V3-Q3_K_M/DeepSeek-V3-Q3_K_M-00006-of-00007.gguf46.0 GB
• DeepSeek-V3-Q3_K_M/DeepSeek-V3-Q3_K_M-00001-of-00007.gguf45.9 GB
• DeepSeek-V3-Q3_K_M/DeepSeek-V3-Q3_K_M-00002-of-00007.gguf45.9 GB
• DeepSeek-V3-Q4_K_M/DeepSeek-V3-Q4_K_M-00001-of-00009.gguf45.2 GB
• DeepSeek-V3-Q4_K_M/DeepSeek-V3-Q4_K_M-00004-of-00009.gguf45.2 GB
• DeepSeek-V3-Q4_K_M/DeepSeek-V3-Q4_K_M-00007-of-00009.gguf45.2 GB
• DeepSeek-V3-Q4_K_M/DeepSeek-V3-Q4_K_M-00003-of-00009.gguf45.2 GB
• DeepSeek-V3-Q4_K_M/DeepSeek-V3-Q4_K_M-00005-of-00009.gguf45.1 GB
• DeepSeek-V3-Q8_0/DeepSeek-V3-BF16-256x20B-Q8_0-00004-of-00016.gguf44.9 GB
• DeepSeek-V3-Q8_0/DeepSeek-V3-BF16-256x20B-Q8_0-00005-of-00016.gguf44.9 GB

הרישיון

המאגר מציג רישיון מסוג MIT, אך התיעוד מציין ששימוש במודל עצמו כפוף לתנאי הרישיון הייעודי של דיפסיק. שני המקורות מאשרים שימוש מסחרי מלא, כך שמותר לשלב את המשקלים במערכות מסחריות בכפוף להוראות המקוריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗