DeepSeek-V3.2-GGUF

מה זה

המאגר הזה מכיל המרות שונות של המודל בשיטת הכימות הדינמית של אנלות'. המודל המקורי נבנה סביב מנגנון קשב דליל שנועד לחסוך חישוב בהקשרים ארוכים, ושילוב של אימון בחיזוקים עם יצירת משימות סוכנים מקבילית. הוא מתחרה ישירות במודלים המובילים בעולם במשימות היגיון, תכנות ומתמטיקה תחרותית.

הייחוד כאן הוא השילוב בין חשיבה לבין הפעלת כלים. המודל יודע לתכנן צעדים לפני קריאה לפונקציות, במקום לפלוט קריאה עיוורת לפי תבנית קבועה. מי שצריך מודל שיכול לעבד שלבי ביניים מורכבים לפני פנייה למאגרי מידע חיצוניים ימצא כאן מענה מדויק יותר מהדורות הקודמים.

מתאים ל

• פתרון בעיות קוד ואלגוריתמים

  הוא מציג תוצאות ברמה אולימפית ומסוגל לנתח לוגיקה תכנותית עמוקה ששוברת מודלים פשוטים יותר.

• סוכני אוטונומיה עם כלים

  מנגנון החשיבה המובנה עם כלים מאפשר לו לתכנן שאילתות מורכבות ולבצע רצף פעולות בסביבות אינטראקטיביות.

• עיבוד מסמכים ארוכים

  מנגנון הקשב הדליל מוריד את העומס החישובי ומאפשר ריצה יציבה יותר בטקסטים ארוכים.

איפה זה נופל

התבנית של השיחה השתנתה לחלוטין ואין תמיכה בקובץ ג'ינג'ה מובנה. צריך להשתמש בסקריפטים חיצוניים בפייתון כדי לפרסר את התוצאות. פונקציית הפענוח שמגיעה עם הקוד הרשמי יודעת לקרוא רק פלט נקי בלי שגיאות, ולא מסוגלת להתאושש אם המודל מפספס פסיק במבנה התשובה שלו. בנוסף, נוסף תפקיד חדש של מפתח שמיועד אך ורק לסוכני חיפוש, והוא לא יעבוד בתרחישים אחרים. גרסת הספשיאל לא תומכת בהפעלת כלים כלל.

אותה משפחה

DeepSeek יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים במאגר מגיע לעשרה טרה בייט שמחולקים למאתיים וארבעים קבצים, כי הוא כולל מגוון רחב של רמות כימות. אתם לא מורידים את הכל, אלא בוחרים קובץ בודד לפי כמות הזיכרון שיש לכם בשרת. הוראות ההרצה מתבססות על המדריך של גרסה שלוש נקודה אחת של אנלות', תוך עדכון שם המודל, עם הגדרות דגימה של טמפרטורה אחת וטופ פי של אפס נקודה תשעים וחמש.

חומרה ביתית רגילה לא מתקרבת ליכולת להחזיק מודל כזה. צריך שרת ייעודי מרובה מאיצים או מערך עם זיכרון מאוחד עצום רק כדי לטעון אותו לזיכרון. אם אין לכם גישה למחשוב כזה בתוך החברה, שימוש בנקודת קצה מנוהלת דרך ספק צד שלישי יהיה זול והגיוני בהרבה.

ollama run hf.co/unsloth/DeepSeek-V3.2-GGUF:Q4_K_S

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

240 קבצים במאגר, 10.0 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• DeepSeek-V3.2-UD-TQ1_0.gguf161.3 GB
• UD-Q4_K_XL/DeepSeek-V3.2-UD-Q4_K_XL-00002-of-00009.gguf50.0 GB
• UD-Q4_K_XL/DeepSeek-V3.2-UD-Q4_K_XL-00003-of-00009.gguf50.0 GB
• UD-IQ2_XXS/DeepSeek-V3.2-UD-IQ2_XXS-00004-of-00005.gguf50.0 GB
• UD-Q6_K_XL/DeepSeek-V3.2-UD-Q6_K_XL-00004-of-00012.gguf50.0 GB
• UD-Q6_K_XL/DeepSeek-V3.2-UD-Q6_K_XL-00007-of-00012.gguf50.0 GB
• UD-Q6_K_XL/DeepSeek-V3.2-UD-Q6_K_XL-00009-of-00012.gguf50.0 GB
• UD-IQ1_S/DeepSeek-V3.2-UD-IQ1_S-00001-of-00004.gguf50.0 GB
• UD-IQ2_M/DeepSeek-V3.2-UD-IQ2_M-00004-of-00005.gguf49.9 GB
• Q2_K_L/DeepSeek-V3.2-Q2_K_L-00001-of-00005.gguf49.9 GB
• IQ4_NL/DeepSeek-V3.2-IQ4_NL-00004-of-00008.gguf49.9 GB
• IQ4_NL/DeepSeek-V3.2-IQ4_NL-00007-of-00008.gguf49.9 GB
• Q4_0/DeepSeek-V3.2-Q4_0-00004-of-00008.gguf49.9 GB
• Q4_0/DeepSeek-V3.2-Q4_0-00007-of-00008.gguf49.9 GB
• Q4_K_S/DeepSeek-V3.2-Q4_K_S-00004-of-00008.gguf49.9 GB
• Q4_K_S/DeepSeek-V3.2-Q4_K_S-00007-of-00008.gguf49.9 GB
• Q3_K_M/DeepSeek-V3.2-Q3_K_M-00001-of-00007.gguf49.8 GB
• IQ4_NL/DeepSeek-V3.2-IQ4_NL-00003-of-00008.gguf49.8 GB
• IQ4_NL/DeepSeek-V3.2-IQ4_NL-00006-of-00008.gguf49.8 GB
• Q4_0/DeepSeek-V3.2-Q4_0-00003-of-00008.gguf49.8 GB
• Q4_0/DeepSeek-V3.2-Q4_0-00006-of-00008.gguf49.8 GB
• Q4_K_S/DeepSeek-V3.2-Q4_K_S-00003-of-00008.gguf49.8 GB
• Q4_K_S/DeepSeek-V3.2-Q4_K_S-00006-of-00008.gguf49.8 GB
• Q4_K_S/DeepSeek-V3.2-Q4_K_S-00001-of-00008.gguf49.8 GB
• UD-IQ3_XXS/DeepSeek-V3.2-UD-IQ3_XXS-00005-of-00006.gguf49.8 GB
• UD-IQ1_M/DeepSeek-V3.2-UD-IQ1_M-00001-of-00005.gguf49.8 GB
• UD-Q5_K_XL/DeepSeek-V3.2-UD-Q5_K_XL-00006-of-00010.gguf49.7 GB
• UD-Q5_K_XL/DeepSeek-V3.2-UD-Q5_K_XL-00002-of-00010.gguf49.7 GB
• UD-IQ1_M/DeepSeek-V3.2-UD-IQ1_M-00003-of-00005.gguf49.7 GB
• Q3_K_S/DeepSeek-V3.2-Q3_K_S-00002-of-00006.gguf49.7 GB
• Q3_K_S/DeepSeek-V3.2-Q3_K_S-00003-of-00006.gguf49.7 GB
• Q3_K_S/DeepSeek-V3.2-Q3_K_S-00004-of-00006.gguf49.7 GB
• Q3_K_S/DeepSeek-V3.2-Q3_K_S-00005-of-00006.gguf49.7 GB
• IQ4_NL/DeepSeek-V3.2-IQ4_NL-00002-of-00008.gguf49.7 GB
• IQ4_NL/DeepSeek-V3.2-IQ4_NL-00005-of-00008.gguf49.7 GB
• Q4_0/DeepSeek-V3.2-Q4_0-00002-of-00008.gguf49.7 GB
• Q4_0/DeepSeek-V3.2-Q4_0-00005-of-00008.gguf49.7 GB
• Q4_K_S/DeepSeek-V3.2-Q4_K_S-00002-of-00008.gguf49.7 GB
• Q4_K_S/DeepSeek-V3.2-Q4_K_S-00005-of-00008.gguf49.7 GB
• Q2_K/DeepSeek-V3.2-Q2_K-00001-of-00005.gguf49.7 GB

הרישיון

הפרויקט מופץ תחת רישיון MIT. אתם יכולים להשתמש בו לצרכים מסחריים, לשנות את הקבצים, להטמיע אותם במוצר סגור או להריץ אותם בענן פרטי ללא תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗