unsloth/Qwen3-32B-GGUF

מה זה

מדובר במודל שפה בגודל 32.8 מיליארד פרמטרים שרץ בתצורת GGUF. החידוש המרכזי כאן הוא האפשרות לקבוע אם המודל יפעיל שרשרת חשיבה מעמיקה בסגנון דגמי ריזונינג או יענה מיד כמו מודל שיחה רגיל. המעבר הזה מתבצע באותו קובץ ממש, באמצעות פרמטר ייעודי או אפילו פקודה פשוטה בתוך הטקסט של השיחה.

המודל כולל 64 שכבות ומתאים לעבודה עם כלים חיצוניים וסוכנים אוטונומיים. הוא תומך בהקשר בסיסי של 32,768 טוקנים עם אפשרות מובנית להרחבה עד 131,072 טוקנים באמצעות מנגנון מתיחה, מה שנותן מענה למסמכים ארוכים יחסית בלי להחליף מודל.

מתאים ל

• פיתוח סוכני קוד מורכבים

  מצב החשיבה מאפשר פתרון בעיות לוגיות וכתיבת סקריפטים עם יכולת קריאה לכלים חיצוניים.

• בוט שירות מהיר ומדויק

  ביטול מצב החשיבה מחזיר תשובות ישירות בלי לבזבז זמן ומשאבי עיבוד מיותרים.

• ניתוח מסמכים רחבי היקף

  תמיכה בהקשר של עד 131,072 טוקנים מתאימה לעיבוד קבצי תיעוד וספריות שלמות.

איפה זה נופל

המודל רגיש מאוד להגדרות הדגימה. אסור להשתמש בחיפוש חמדני במצב חשיבה, כי הוא נוטה להיתקע בלולאות אינסופיות של מלל, והעלאת מדד ה־penalty כדי לפתור את זה גורמת לו לערבב שפות. בנוסף, הרחבת ההקשר הארוך מעבר לרגיל פוגעת בביצועים על טקסטים קצרים בגלל מימוש קבוע מראש, כך שלא כדאי להפעיל אותה כשאין צורך ממשי.

אותה משפחה

Qwen3 יצא ב־10 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

איך מריצים

בשביל להריץ גרסה מכווצת כזו בקצב עבודה סביר, תצטרכו כרטיס מסך חזק עם לפחות 24GB זיכרון לתצורות הקלות יותר, או שילוב של זיכרון מערכת נדיב בשימוש בתוכנות כמו llama.cpp ו־Ollama. המאגר כולל מגוון רחב של רמות דחיסה מבית Unsloth ששוקלות יחד כמעט 500GB, כך שבוחרים רק קובץ בודד שמתאים למגבלת הזיכרון שלכם.

אם אין לכם חומרה ייעודית עם כרטיסי מסך מקצועיים, הרצה מקומית של מודל בגודל כזה עלולה לזחול. במקרים של עומס נקודתי או שרתים חלשים, זול ומהיר יותר לשלוח קריאות ישירות לשרתי ענן.

ollama run hf.co/unsloth/Qwen3-32B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

33 קבצים במאגר, 497 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• BF16/Qwen3-32B-BF16-00001-of-00002.gguf49.9 GB
• Qwen3-32B-UD-Q8_K_XL.gguf39.5 GB
• Qwen3-32B-Q8_0.gguf34.8 GB
• Qwen3-32B-UD-Q6_K_XL.gguf29.0 GB
• Qwen3-32B-Q6_K.gguf26.9 GB
• Qwen3-32B-UD-Q5_K_XL.gguf23.2 GB
• Qwen3-32B-Q5_K_M.gguf23.2 GB
• Qwen3-32B-Q5_K_S.gguf22.6 GB
• Qwen3-32B-Q4_1.gguf20.6 GB
• Qwen3-32B-UD-Q4_K_XL.gguf20.0 GB
• Qwen3-32B-Q4_K_M.gguf19.8 GB
• Qwen3-32B-Q4_K_S.gguf18.8 GB
• Qwen3-32B-Q4_0.gguf18.7 GB
• Qwen3-32B-IQ4_NL.gguf18.7 GB
• Qwen3-32B-IQ4_XS.gguf17.7 GB
• Qwen3-32B-UD-Q3_K_XL.gguf16.4 GB
• Qwen3-32B-Q3_K_M.gguf16.0 GB
• BF16/Qwen3-32B-BF16-00002-of-00002.gguf15.7 GB
• Qwen3-32B-Q3_K_S.gguf14.4 GB
• Qwen3-32B-UD-IQ3_XXS.gguf13.0 GB
• Qwen3-32B-UD-Q2_K_XL.gguf12.8 GB
• Qwen3-32B-Q2_K_L.gguf12.5 GB
• Qwen3-32B-Q2_K.gguf12.3 GB
• Qwen3-32B-UD-IQ2_M.gguf11.6 GB
• Qwen3-32B-UD-IQ2_XXS.gguf9.3 GB
• Qwen3-32B-UD-IQ1_M.gguf8.3 GB
• Qwen3-32B-UD-IQ1_S.gguf7.7 GB
• imatrix_unsloth.dat15.2 MB
• README.md20.0 KB
• .gitattributes3.2 KB
• template1.5 KB
• config.json754 B
• params178 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בחופשיות, כל עוד משאירים את הצהרת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗