DeepSeek-R1-Distill-Qwen-1.5B-GGUF

מה זה

מדובר במודל שמבוסס על Qwen2.5-Math-1.5B, שעבר כוונון בעזרת 800 אלף דוגמאות שנלקחו ישירות מתהליכי החשיבה של DeepSeek-R1 המקורי. המטרה כאן היא לא עוד מודל שיחה רגיל, אלא מודל שמייצר שרשרת חשיבה מפורטת לפני שהוא פולט תשובה, ובגודל של מיליארד וחצי פרמטרים בלבד.

במבחני ביצועים הוא עוקף מודלים ותיקים וגדולים בהרבה במתמטיקה טהורה, עם ציון של 83.9 במבחן MATH-500 וציון של 28.9 ב־AIME 2024. לשם השוואה, GPT-4o קיבל באותו מבחן AIME תוצאה של 9.3 בלבד. עם זאת, התוצאות האלו משקפות בעיקר חישובים ותרגילים מוגדרים היטב, ולא הבנה כללית רחבה.

מתאים ל

• פתרון בעיות מתמטיקה

  משיג 83.9 במבחן MATH-500 ומתאים לשילוב באפליקציות עזר לימודיות מקומיות.

• חשיבה לוגית על חומרה חלשה

  מייצר שלבי הנמקה מלאים גם על מעבדים פשוטים וללא צורך במעבד גרפי יקר.

• מערכות משובצות ומכשירים אישיים

  גודל קטן שמאפשר להריץ מנגנון הסקת מסקנות מקומי בלי תלות ברשת.

איפה זה נופל

המודל חלש מאוד בכתיבת קוד אמיתי, עם 16.9 בלבד ב־LiveCodeBench ודירוג נמוך של 954 ב־Codeforces. בנוסף, הכרטיס מדגיש שאין להוסיף פרומפט מערכת אלא לכתוב את כל ההנחיות בתוך בקשת המשתמש, ושחובה לשמור על טמפרטורה נמוכה כדי למנוע חזרות אינסופיות או פלט לא קוהרנטי. התמיכה המדווחת היא באנגלית בלבד, כך שלא כדאי לבנות עליו לפרויקטים בעברית.

אותה משפחה

DeepSeek-R1-Distill-Qwen יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הקל של המודל בפורמט GGUF אומר שאפשר להריץ אותו ישירות דרך llama.cpp אפילו על מעבד רגיל של מחשב נייד בלי כרטיס מסך חיצוני, אם כי מעבד גרפי כמו RTX 4090 יאפשר פריקה של כל 28 השכבות לזיכרון ועיבוד מהיר במיוחד.

הריצה דורשת שימוש בתבנית הפרומפט הספציפית של המודל עם הטוקנים הייעודיים של משתמש ועוזר, והגדרת טמפרטורה סביב 0.6. אם אתם צריכים לנתח טקסטים ארוכים במיוחד או מחפשים קוד מורכב, עדיף להשתמש ב־API של המודל המלא במקום להסתמך על הגרסה המזוקקת הזו.

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

21 קבצים במאגר, 18.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-R1-Distill-Qwen-1.5B-BF16.gguf3.6 GB
• DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf1.9 GB
• DeepSeek-R1-Distill-Qwen-1.5B-Q6_K.gguf1.5 GB
• DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf1.3 GB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-Q4_K_XL.gguf1.2 GB
• DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf1.1 GB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-IQ4_XS.gguf1.1 GB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-Q3_K_XL.gguf968.3 MB
• DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_M.gguf924.5 MB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-Q2_K_XL.gguf885.6 MB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-IQ3_XXS.gguf882.1 MB
• DeepSeek-R1-Distill-Qwen-1.5B-Q2_K_L.gguf807.6 MB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-IQ2_M.gguf792.2 MB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-IQ2_XXS.gguf774.9 MB
• DeepSeek-R1-Distill-Qwen-1.5B-Q2_K.gguf752.9 MB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-IQ1_M.gguf716.3 MB
• DeepSeek-R1-Distill-Qwen-1.5B-UD-IQ1_S.gguf700.1 MB
• imatrix_unsloth.dat2.0 MB
• README.md24.7 KB
• .gitattributes2.9 KB
• config.json679 B

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0 המקורי של סדרת Qwen ממנה נגזר. הרישיון מתיר שימוש מסחרי מלא, שינויים והפצה של הקוד והמשקלים, כולל שילוב במוצרים סגורים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗