DeepSeek-R1-Distill-Llama-70B-GGUF

מה זה

מדובר במודל לאמה 3.3 בגודל שבעים מיליארד פרמטרים שעבר זיקוק באמצעות פלטים של דיפסיק אר 1, במטרה לחקות את דפוסי החשיבה שלו. צוות אנלות' לקח את המשקלים האלה והמיר אותם לפורמט גיגאף כדי לאפשר הרצה מקומית יעילה דרך ספריות מבוססות סי. הוא יודע לבצע תהליכי היסק מורכבים בשרשרת מחשבה, ומיועד להנדסת תוכנה, מתמטיקה ומשימות לוגיות תובעניות.

במבחני הביצועים המודל מציג תוצאות חזקות ביותר לגודלו. הוא מגיע לציון של 70 במבחן המתמטיקה איימי 2024, ומטפס ל־86.7 תחת בדיקת עקביות של שישים וארבע דגימות. במבחן מאת' 500 הוא פוגע ב־94.5 אחוז דיוק, ועוקף את קלוד 3.5 סונט וג'יפיטי 4 או במדדי קוד כמו לייבקודבנץ' עם 57.5 אחוזי הצלחה. המשמעות היא שביכולת ניתוח טכנית נטו הוא מתחרה במודלי ענן סגורים, אך במעטפת קומפקטית בהרבה.

מתאים ל

• פתרון בעיות אלגוריתמיות

  הוא מגיע לרייטינג 1633 בקודפורסס ומצטיין בכתיבת קוד מורכב עם שרשרת חשיבה.

• הוכחות וחישובים במתמטיקה

  הוא משיג 94.5 אחוז במבחן מאת' 500 ומסוגל לנמק צעדים עד לקבלת התוצאה.

• ניתוח לוגי בארגונים סגורים

  הוא מאפשר יכולות היסק של מודלים ענקיים על גבי שרת מקומי ומאובטח.

איפה זה נופל

חובה לוותר לחלוטין על סיסטם פרומפט, כי המודל לא הוכשר לעבוד איתו וכל ההנחיות חייבות להיכנס ישירות לפרומפט של המשתמש. הכרטיס מדגיש שחריגה מהטמפרטורה המומלצת מובילה לחזרתיות אינסופית או פלטים לא קוהרנטיים. בנוסף, המודל מוגדר רשמית לשפה האנגלית בלבד, וצריך לבדוק אותו היטב במשימות שפה טבעית רגילות שאינן לוגיקה או קוד.

אותה משפחה

DeepSeek-R1-Distill-Llama יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בשביל להריץ שבעים מיליארד פרמטרים בגרסת קוונטיזציה נפוצה כמו קיו 4 תצטרכו לפחות ארבעים ג'יגה זיכרון פנוי. כרטיס בודד של עשרים וארבעה ג'יגה כמו ארטיאיקס 4090 לא מספיק לבד, ותצטרכו לפצל שכבות בין המעבד הגרפי לזיכרון הראשי דרך לאמה סיפיפי, מה שיאט מאוד את קצב יצירת הטוקנים.

אם אין לכם שני כרטיסי מסך חזקים או שרת ייעודי, עדיף להשתמש ב־API המוכן של דיפסיק בענן. למי שמתעקש להריץ מקומית, ההוראות מחייבות שימוש בטוקנים המיוחדים של יוזר ואסיסטנט, והגדרת טמפרטורה סביב 0.6.

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

41 קבצים במאגר, 1.2 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Q6_K/DeepSeek-R1-Distill-Llama-70B-Q6_K-00001-of-00002.gguf50.0 GB
• DeepSeek-R1-Distill-Llama-70B-UD-Q5_K_XL.gguf50.0 GB
• UD-Q6_K_XL/DeepSeek-R1-Distill-Llama-70B-UD-Q6_K_XL-00001-of-00002.gguf50.0 GB
• DeepSeek-R1-Distill-Llama-70B-Q5_K_M.gguf49.9 GB
• BF16/DeepSeek-R1-Distill-Llama-70B-BF16-00001-of-00003.gguf49.9 GB
• UD-Q8_K_XL/DeepSeek-R1-Distill-Llama-70B-UD-Q8_K_XL-00001-of-00002.gguf49.9 GB
• BF16/DeepSeek-R1-Distill-Llama-70B-BF16-00002-of-00003.gguf49.8 GB
• DeepSeek-R1-Distill-Llama-70B-Q5_K_S.gguf48.7 GB
• DeepSeek-R1-Distill-Llama-70B-F16/DeepSeek-R1-Distill-Llama-70B-F16-00002-of-00003.gguf47.9 GB
• DeepSeek-R1-Distill-Llama-70B-F16/DeepSeek-R1-Distill-Llama-70B-F16-00001-of-00003.gguf47.8 GB
• DeepSeek-R1-Distill-Llama-70B-F16/DeepSeek-R1-Distill-Llama-70B-F16-00003-of-00003.gguf45.4 GB
• DeepSeek-R1-Distill-Llama-70B-Q4_1.gguf44.3 GB
• DeepSeek-R1-Distill-Llama-70B-UD-Q4_K_XL.gguf42.7 GB
• DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf42.5 GB
• BF16/DeepSeek-R1-Distill-Llama-70B-BF16-00003-of-00003.gguf41.5 GB
• DeepSeek-R1-Distill-Llama-70B-Q4_K_S.gguf40.3 GB
• DeepSeek-R1-Distill-Llama-70B-Q4_0.gguf40.1 GB
• DeepSeek-R1-Distill-Llama-70B-IQ4_NL.gguf40.1 GB
• DeepSeek-R1-Distill-Llama-70B-Q8_0/DeepSeek-R1-Distill-Llama-70B-Q8_0-00001-of-00002.gguf39.8 GB
• DeepSeek-R1-Distill-Llama-70B-IQ4_XS.gguf37.9 GB
• DeepSeek-R1-Distill-Llama-70B-Q8_0/DeepSeek-R1-Distill-Llama-70B-Q8_0-00002-of-00002.gguf35.2 GB
• DeepSeek-R1-Distill-Llama-70B-UD-Q3_K_XL.gguf34.9 GB
• DeepSeek-R1-Distill-Llama-70B-Q3_K_M.gguf34.3 GB
• UD-Q8_K_XL/DeepSeek-R1-Distill-Llama-70B-UD-Q8_K_XL-00002-of-00002.gguf31.4 GB
• DeepSeek-R1-Distill-Llama-70B-Q3_K_S.gguf30.9 GB
• DeepSeek-R1-Distill-Llama-70B-Q6_K/DeepSeek-R1-Distill-Llama-70B-Q6_K-00001-of-00002.gguf29.9 GB
• DeepSeek-R1-Distill-Llama-70B-Q6_K/DeepSeek-R1-Distill-Llama-70B-Q6_K-00002-of-00002.gguf28.0 GB
• DeepSeek-R1-Distill-Llama-70B-UD-IQ3_XXS.gguf27.7 GB
• DeepSeek-R1-Distill-Llama-70B-UD-Q2_K_XL.gguf27.0 GB
• DeepSeek-R1-Distill-Llama-70B-Q2_K_L.gguf26.6 GB
• DeepSeek-R1-Distill-Llama-70B-Q2_K.gguf26.4 GB
• DeepSeek-R1-Distill-Llama-70B-UD-IQ2_M.gguf24.4 GB
• DeepSeek-R1-Distill-Llama-70B-UD-IQ2_XXS.gguf19.4 GB
• DeepSeek-R1-Distill-Llama-70B-UD-IQ1_M.gguf17.2 GB
• DeepSeek-R1-Distill-Llama-70B-UD-IQ1_S.gguf15.9 GB
• UD-Q6_K_XL/DeepSeek-R1-Distill-Llama-70B-UD-Q6_K_XL-00002-of-00002.gguf11.2 GB
• Q6_K/DeepSeek-R1-Distill-Llama-70B-Q6_K-00002-of-00002.gguf7.9 GB
• imatrix_unsloth.dat24.9 MB
• README.md24.8 KB
• .gitattributes5.0 KB

הרישיון

המשקלים כפופים לרישיון לאמה 3.3 של חברת מטא. הרישיון מתיר שימוש מסחרי ומחקר, אך מטיל מגבלות שימוש מקובלות של מטא, כולל דרישה לאישור מיוחד אם המוצר מגיע למאות מיליוני משתמשים פעילים בחודש.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗