bartowski/DeepSeek-R1-GGUF

מה זה

המאגר הזה מכיל המרות מכוילות בשיטת imatrix למודל DeepSeek-R1 המקורי, תוך שימוש בגרסה b4514 של llama.cpp ומעבר דרך בסיס BF16 של Arcee-AI. הוא נועד למשימות של יצירת טקסט ומענה מורכב, כשהייחוד שלו הוא דחיסת מודל ענק לפורמטים שונים שמאפשרים להריץ אותו ישירות על מעבדים וכרטיסים גרפיים ביתיים או ארגוניים ללא צורך במערך שרתים מסחרי שלם.

הקובץ כולל טווח רחב במיוחד של רמות כימות. מגרסת Q8_0 שתופסת 713.29GB ומציעה איכות מקסימלית כמעט ללא פשרות, דרך גרסאות ביניים מאוזנות כמו Q4_K_M במשקל 404.43GB, ועד דחיסות קיצוניות בטכנולוגיית IQ שיורדות עד 133.56GB. הטבלאות בכרטיס ממחישות ששימוש בכימותים ייעודיים מאפשר פריקה מהירה יותר במעבדי ARM ו־AVX הודות למנגנון סידור מחדש של משקולות בזמן ריצה. זה אומר שבמעבדים תואמים מקבלים קצב עיבוד פרומפטים מהיר יותר, בלי לנעול את המודל לפורמטים ישנים שכבר אינם נתמכים.

מתאים ל

• הרצה מקומית מאובטחת

  מתאים לארגונים שמחזיקים שרתי ענק עם חצי טרה זיכרון ורוצים להריץ מודל חזק בלי להוציא מידע לרשת.

• הסקה על מעבדי ARM

  גרסאות Q4_0 ו־IQ4_NL מתאימות למי שמשתמש במעבדי שרת מבוססי ARM וצריך טעינה וסידור מחדש של משקולות בזמן ריצה.

• בדיקות איכות בכימותים

  מפתחי תשתיות LLM יכולים להשוות בין שיטות הדחיסה השונות, מ־8 ביט ועד IQ1, כדי למדוד איבוד דיוק מול זיכרון.

איפה זה נופל

החיסרון המרכזי כאן הוא הפגיעה הקשה באיכות בגרסאות הנמוכות. הכרטיס מציין במפורש שגרסאות IQ1_S ו־IQ1_M הן באיכות נמוכה ביותר ואינן מומלצות לשימוש, וגם גרסאות ה־2 ביט וה־3 ביט סובלות מירידה מורגשת בדיוק. בנוסף, קובצי ה־I-quants לא עובדים עם מאיצי Vulkan של AMD, והרצה שלהם על מעבד רגיל או Apple Metal תהיה איטית יותר בהשוואה לגרסאות K רגילות. לפני שמשלבים גרסה מכווצת במוצר, חובה לבדוק שהתשובות לא מתעוותות בגלל הכימות האגרסיבי.

איך מריצים

בשביל להריץ את המודל הזה צריך חומרה כבדה מאוד. הגרסה הקטנה והמומלצת לשימוש כללי, Q4_K_M, שוקלת 404.43GB, כך שתצטרכו שרת עם מאות ג'יגה בייט של זיכרון RAM או מערך כרטיסי מסך מרובה VRAM כדי לטעון אותה במלואה. מריצים את הקבצים ישירות ב־llama.cpp או דרך תוכנת LM Studio, תוך הקפדה על פורמט הפרומפט המוגדר שכולל תגיות begin_of_sentence, User ו־Assistant.

מי שאין לו שרת ייעודי כזה בחברה יתקשה מאוד להפיק ממנו תועלת. אם אתם עובדים על מחשב נייד או תחנת עבודה רגילה, עדיף בהרבה לקרוא ל־API חיצוני של המודל במקום לנסות להוריד מאות ג'יגה בייט ולהריץ סימולציה איטית על מעבד.

ollama run hf.co/bartowski/DeepSeek-R1-GGUF:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

219 קבצים במאגר, 7.2 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-R1-IQ2_XS/DeepSeek-R1-IQ2_XS-00002-of-00005.gguf40.0 GB
• DeepSeek-R1-IQ2_XS/DeepSeek-R1-IQ2_XS-00003-of-00005.gguf40.0 GB
• DeepSeek-R1-IQ2_XS/DeepSeek-R1-IQ2_XS-00004-of-00005.gguf40.0 GB
• DeepSeek-R1-Q4_0/DeepSeek-R1-Q4_0-00001-of-00010.gguf40.0 GB
• DeepSeek-R1-Q3_K_M/DeepSeek-R1-Q3_K_M-00002-of-00009.gguf40.0 GB
• DeepSeek-R1-IQ1_S/DeepSeek-R1-IQ1_S-00002-of-00004.gguf40.0 GB
• DeepSeek-R1-Q5_K_M/DeepSeek-R1-Q5_K_M-00009-of-00013.gguf40.0 GB
• DeepSeek-R1-Q3_K_L/DeepSeek-R1-Q3_K_L-00002-of-00009.gguf39.9 GB
• DeepSeek-R1-Q3_K_L/DeepSeek-R1-Q3_K_L-00004-of-00009.gguf39.9 GB
• DeepSeek-R1-Q3_K_L/DeepSeek-R1-Q3_K_L-00006-of-00009.gguf39.9 GB
• DeepSeek-R1-Q3_K_L/DeepSeek-R1-Q3_K_L-00008-of-00009.gguf39.9 GB
• DeepSeek-R1-Q3_K_XL/DeepSeek-R1-Q3_K_XL-00002-of-00009.gguf39.9 GB
• DeepSeek-R1-Q3_K_XL/DeepSeek-R1-Q3_K_XL-00004-of-00009.gguf39.9 GB
• DeepSeek-R1-Q3_K_XL/DeepSeek-R1-Q3_K_XL-00006-of-00009.gguf39.9 GB
• DeepSeek-R1-Q3_K_XL/DeepSeek-R1-Q3_K_XL-00008-of-00009.gguf39.9 GB
• DeepSeek-R1-IQ1_S/DeepSeek-R1-IQ1_S-00003-of-00004.gguf39.9 GB
• DeepSeek-R1-Q3_K_S/DeepSeek-R1-Q3_K_S-00001-of-00008.gguf39.9 GB
• DeepSeek-R1-IQ3_XXS/DeepSeek-R1-IQ3_XXS-00002-of-00007.gguf39.8 GB
• DeepSeek-R1-IQ3_XXS/DeepSeek-R1-IQ3_XXS-00003-of-00007.gguf39.8 GB
• DeepSeek-R1-IQ3_XXS/DeepSeek-R1-IQ3_XXS-00004-of-00007.gguf39.8 GB
• DeepSeek-R1-IQ3_XXS/DeepSeek-R1-IQ3_XXS-00005-of-00007.gguf39.8 GB
• DeepSeek-R1-IQ3_XXS/DeepSeek-R1-IQ3_XXS-00006-of-00007.gguf39.8 GB
• DeepSeek-R1-IQ3_M/DeepSeek-R1-IQ3_M-00002-of-00008.gguf39.7 GB
• DeepSeek-R1-IQ3_M/DeepSeek-R1-IQ3_M-00003-of-00008.gguf39.7 GB
• DeepSeek-R1-IQ3_M/DeepSeek-R1-IQ3_M-00004-of-00008.gguf39.7 GB
• DeepSeek-R1-IQ3_M/DeepSeek-R1-IQ3_M-00005-of-00008.gguf39.7 GB
• DeepSeek-R1-IQ3_M/DeepSeek-R1-IQ3_M-00006-of-00008.gguf39.7 GB
• DeepSeek-R1-IQ3_M/DeepSeek-R1-IQ3_M-00007-of-00008.gguf39.7 GB
• DeepSeek-R1-IQ2_XXS/DeepSeek-R1-IQ2_XXS-00002-of-00005.gguf39.7 GB
• DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M-00009-of-00011.gguf39.7 GB
• DeepSeek-R1-IQ2_XXS/DeepSeek-R1-IQ2_XXS-00001-of-00005.gguf39.6 GB
• DeepSeek-R1-IQ2_XXS/DeepSeek-R1-IQ2_XXS-00004-of-00005.gguf39.6 GB
• DeepSeek-R1-IQ2_M/DeepSeek-R1-IQ2_M-00001-of-00006.gguf39.6 GB
• DeepSeek-R1-IQ1_M/DeepSeek-R1-IQ1_M-00003-of-00004.gguf39.6 GB
• DeepSeek-R1-IQ2_S/DeepSeek-R1-IQ2_S-00001-of-00006.gguf39.6 GB
• DeepSeek-R1-IQ2_XXS/DeepSeek-R1-IQ2_XXS-00003-of-00005.gguf39.6 GB
• DeepSeek-R1-IQ1_M/DeepSeek-R1-IQ1_M-00002-of-00004.gguf39.6 GB
• DeepSeek-R1-Q3_K_S/DeepSeek-R1-Q3_K_S-00002-of-00008.gguf39.6 GB
• DeepSeek-R1-Q3_K_S/DeepSeek-R1-Q3_K_S-00003-of-00008.gguf39.6 GB
• DeepSeek-R1-Q3_K_S/DeepSeek-R1-Q3_K_S-00004-of-00008.gguf39.6 GB

הרישיון

המאגר מפורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי, הפצה ושילוב במוצרים סגורים בלי תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗