unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF

מה זה

המודל מבוסס על הארכיטקטורה של Qwen3 עם 8 מיליארד פרמטרים, אבל עבר אימון על שרשראות החשיבה של DeepSeek-R1-0528. במקום להסתפק ביכולות המקוריות של משקל קל, הוא מחקה את צורת הניתוח של מודלים גדולים בהרבה, וזה מורגש ישירות במבחנים הקשים.

במבחן המתמטי AIME 2024 הוא מגיע לציון 86, וב־AIME 2025 ל־76.3. המשמעות המעשית היא שבמשימות אלגוריתמיות וחישובים מורכבים הוא מנצח את רוב הכלים בסדר הגודל שלו ומתחרה במודלים של עשרות ומאות מיליארדי פרמטרים. בתכנות הוא עומד על 60.5 ב־LiveCodeBench, שזה נתון יפה לגודל כזה, אם כי הוא לא מחליף כלי פיתוח מלאים.

מתאים ל

• פתרון בעיות מתמטיות

  מגיע ל־86 אחוז ב־AIME 2024 בזכות זיקוק שרשראות חשיבה ארוכות מגודל ענק.

• הסקה מקומית על חומרה צנועה

  פורמט GGUF מאפשר להריץ מודל היגיון של 8 מיליארד פרמטרים על מחשב יחיד.

• עבודה עם פרומפטים מובנים

  תומך ב־system prompt רשמי ומאפשר ניתוח מסמכים או חיפוש לפי תבניות ייעודיות.

איפה זה נופל

במבחן הידע הכללי GPQA Diamond המודל מקבל ציון 61.1, ובמדד LiveCodeBench הוא עוצר על 60.5. המספרים האלה מראים שהוא נופל מול מודלים מסחריים סגורים כשהשאלות דורשות הבנה רחבה או כתיבת קוד יישומי מורכב. הוא ממוקד בהיגיון ומדעים מדויקים, ולא מתאים כפתרון לכל משימה.

איך מריצים

קובץ המשקלים הכולל שוקל 129 גיגה בייט ב־32 קבצים ומכיל גרסאות שונות בפורמט GGUF, כשהרצה פשוטה אפשרית ישירות דרך פקודת ollama run עם גרסת Q4_K_XL. ההרצה דורשת כרטיס מסך ביתי סביר או זיכרון מערכת מספק בהתאם לכיול שבחרתם, והמפרסמים ממליצים לעבוד ב־llama.cpp בלי תגית פתיחת משפט ידנית כי היא מתווספת לבד.

הגדרות ההסקה קריטיות ליציבות: צריך לקבע את ה־temperature לטווח של 0.5 עד 0.7, כשההמלצה הרשמית היא 0.6, לצד Top_P של 0.95 כדי לצמצם חזרתיות. אם אתם צריכים רק שאילתות בודדות או תשובות מהירות בלי להחזיק תשתית, עדיף להשתמש ב־API הרשמי של DeepSeek במקום להשקיע משאבים בשרת מקומי.

ollama run hf.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

32 קבצים במאגר, 129 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-R1-0528-Qwen3-8B-BF16.gguf16.4 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-Q8_K_XL.gguf10.8 GB
• DeepSeek-R1-0528-Qwen3-8B-Q8_0.gguf8.7 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-Q6_K_XL.gguf7.5 GB
• DeepSeek-R1-0528-Qwen3-8B-Q6_K.gguf6.7 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-Q5_K_XL.gguf5.9 GB
• DeepSeek-R1-0528-Qwen3-8B-Q5_K_M.gguf5.9 GB
• DeepSeek-R1-0528-Qwen3-8B-Q5_K_S.gguf5.7 GB
• DeepSeek-R1-0528-Qwen3-8B-Q4_1.gguf5.2 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-Q4_K_XL.gguf5.1 GB
• DeepSeek-R1-0528-Qwen3-8B-Q4_K_M.gguf5.0 GB
• DeepSeek-R1-0528-Qwen3-8B-Q4_K_S.gguf4.8 GB
• DeepSeek-R1-0528-Qwen3-8B-IQ4_NL.gguf4.8 GB
• DeepSeek-R1-0528-Qwen3-8B-Q4_0.gguf4.8 GB
• DeepSeek-R1-0528-Qwen3-8B-IQ4_XS.gguf4.6 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-Q3_K_XL.gguf4.3 GB
• DeepSeek-R1-0528-Qwen3-8B-Q3_K_M.gguf4.1 GB
• DeepSeek-R1-0528-Qwen3-8B-Q3_K_S.gguf3.8 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-Q2_K_XL.gguf3.5 GB
• DeepSeek-R1-0528-Qwen3-8B-Q2_K_L.gguf3.4 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-IQ3_XXS.gguf3.4 GB
• DeepSeek-R1-0528-Qwen3-8B-Q2_K.gguf3.3 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-IQ2_M.gguf3.1 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-IQ2_XXS.gguf2.6 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-IQ1_M.gguf2.4 GB
• DeepSeek-R1-0528-Qwen3-8B-UD-IQ1_S.gguf2.3 GB
• imatrix_unsloth.dat5.3 MB
• README.md16.9 KB
• .gitattributes3.5 KB
• config.json911 B
• template556 B
• params265 B

הרישיון

הרישיון הוא MIT מלא. מותר להשתמש בו לצרכים מסחריים, להטמיע אותו בתוך מוצרים, לשנות אותו ואף לבצע זיקוק של הידע שלו למודלים אחרים בלי דרישות מיוחדות חוץ משמירה על תנאי הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗