DeepSeek-R1-GGUF

מה זה

מדובר בהמרה של DeepSeek-R1 לקובצי GGUF באמצעות כימות דינמי של 1.58 עד 2.51 ביט מבית Unsloth. המודל המקורי בנוי בארכיטקטורת תערובת מומחים (MoE) עם 671 מיליארד פרמטרים בסך הכול, אך מפעיל רק 37 מיליארד פרמטרים בכל טוקן, מה ששומר עליו מהיר יחסית לגודלו העצום.

במבחני ביצועים, המודל המלא מציג תוצאות שמתחרות ישירות ב־OpenAI-o1, עם 79.8% ב־AIME 2024 וציון של 97.3% ב־MATH-500. הכימות של Unsloth שומר על דיוק השכבות הקריטיות ומכווץ חזק יותר את שכבות ה־MoE, מה שמאפשר לצמצם את דרישות הזיכרון בלי לשבור את יכולת פתרון הבעיות הרב שלבי.

מתאים ל

• פתרון בעיות מתמטיקה

  משיג 97.3% במבחן MATH-500 בזכות שרשרת חשיבה מעמיקה לפני מענה.

• תכנות ודיבאגינג מורכב

  מחזיק בדירוג תחרותי של 2029 ב־Codeforces ופותר בעיות אלגוריתמיות קשות.

• הסקה לוגית עצמאית

  מבצע אימות עצמי ותיקון שגיאות בזמן אמת ללא צורך בהנחיה מוקדמת.

איפה זה נופל

המודל פגיע מאוד לחזרתיות בלתי נגמרת ופלט מקוטע אם חורגים מההגדרות המומלצות. חובה לעבוד בטמפרטורה של 0.5 עד 0.7, ועדיף להוסיף את הדגל min-p 0.05 כדי למנוע בחירת טוקנים שגויים בגרסאות ה־1.58 ביט. אסור להשתמש ב־System Prompt רגיל, שכן כל ההנחיות חייבות להיכנס ישירות לתוך ה־User Prompt כדי שהמודל לא יאבד כיוון.

אותה משפחה

DeepSeek-R1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

להרצה מקומית משתמשים בגרסה עדכנית של llama.cpp שתומכת בכימותים הדינמיים. הגרסה הקלה ביותר, UD-IQ1_S, תופסת 131 גיגה-בייט על הדיסק, בעוד שגרסת UD-Q2_K_XL האיכותית יותר דורשת 212 גיגה-בייט. גם אחרי הכיווץ האגרסיבי דרוש מחשב עם לפחות 150 עד 250 גיגה-בייט של זיכרון משולב, כמו תחנות עבודה מרובות כרטיסי מסך או מחשבי Mac עם זיכרון מאוחד גבוה.

אם יש לכם כרטיס בודד כמו RTX 4090 עם 24 גיגה-בייט זיכרון, תוכלו להוריד אליו רק כ־7 שכבות מתוך 61 ולבצע את שאר החישובים על המעבד, מה שיוביל לקצב יצירה איטי. בהיעדר שרת ייעודי כבד, עדיף להשתמש ב־API הרשמי של DeepSeek במקום להילחם בחומרה מקומית.

ollama run hf.co/unsloth/DeepSeek-R1-GGUF:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

118 קבצים במאגר, 4.8 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-R1-Q5_K_M/DeepSeek-R1-Q5_K_M-00009-of-00010.gguf50.0 GB
• DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-UD-Q2_K_XL-00002-of-00005.gguf50.0 GB
• DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-UD-Q2_K_XL-00003-of-00005.gguf50.0 GB
• DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-UD-Q2_K_XL-00004-of-00005.gguf50.0 GB
• DeepSeek-R1-UD-IQ1_M/DeepSeek-R1-UD-IQ1_M-00003-of-00004.gguf50.0 GB
• DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS-00002-of-00004.gguf49.8 GB
• DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS-00003-of-00004.gguf49.8 GB
• DeepSeek-R1-Q2_K_XS/DeepSeek-R1-Q2_K_XS-00001-of-00005.gguf49.8 GB
• DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-UD-Q2_K_XL-00001-of-00005.gguf49.8 GB
• DeepSeek-R1-UD-IQ1_M/DeepSeek-R1-UD-IQ1_M-00002-of-00004.gguf49.7 GB
• DeepSeek-R1-Q3_K_M/DeepSeek-R1-Q3_K_M-00001-of-00007.gguf49.7 GB
• DeepSeek-R1-Q2_K_L/DeepSeek-R1-Q2_K_L-00001-of-00005.gguf49.6 GB
• DeepSeek-R1-Q5_K_M/DeepSeek-R1-Q5_K_M-00001-of-00010.gguf49.6 GB
• DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M-00003-of-00009.gguf49.5 GB
• DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M-00002-of-00009.gguf49.4 GB
• DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M-00007-of-00009.gguf49.4 GB
• DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M-00005-of-00009.gguf49.4 GB
• DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00002-of-00003.gguf49.4 GB
• DeepSeek-R1-Q2_K/DeepSeek-R1-Q2_K-00001-of-00005.gguf49.4 GB
• DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf49.3 GB
• DeepSeek-R1-UD-IQ1_M/DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf49.3 GB
• DeepSeek-R1-Q3_K_M/DeepSeek-R1-Q3_K_M-00002-of-00007.gguf49.2 GB
• DeepSeek-R1-Q3_K_M/DeepSeek-R1-Q3_K_M-00003-of-00007.gguf49.2 GB
• DeepSeek-R1-Q3_K_M/DeepSeek-R1-Q3_K_M-00004-of-00007.gguf49.2 GB
• DeepSeek-R1-Q3_K_M/DeepSeek-R1-Q3_K_M-00005-of-00007.gguf49.2 GB
• DeepSeek-R1-Q3_K_M/DeepSeek-R1-Q3_K_M-00006-of-00007.gguf49.2 GB
• DeepSeek-R1-Q2_K_XS/DeepSeek-R1-Q2_K_XS-00002-of-00005.gguf49.2 GB
• DeepSeek-R1-Q2_K_XS/DeepSeek-R1-Q2_K_XS-00003-of-00005.gguf49.2 GB
• DeepSeek-R1-Q2_K_XS/DeepSeek-R1-Q2_K_XS-00004-of-00005.gguf49.2 GB
• DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS-00001-of-00004.gguf49.1 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00003-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00004-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00005-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00006-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00007-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00008-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00009-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00010-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00011-of-00015.gguf48.9 GB
• DeepSeek-R1-Q8_0/DeepSeek-R1.Q8_0-00012-of-00015.gguf48.9 GB

הרישיון

הפרויקט מופץ תחת רישיון MIT. המשמעות היא חופש מלא לשימוש מסחרי, שינוי הקוד, הרצה פרטית והפצה מחדש, כולל שימוש בפלט של המודל כדי לזקק מודלים אחרים. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים המקורית של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗