Qwen3-Next-80B-A3B-Thinking-GGUF

מה זה

מדובר בגרסת GGUF שעברה כימות על ידי Unsloth לארכיטקטורה שמשלבת מנגנון קשב היברידי וחלוקה ל־512 מומחים. המודל שומר על נפח זיכרון של מודל 80B, אבל בזמן ריצה מעבד רק 10 מומחים פעילים ועוד אחד משותף. זה מקצץ את כמות החישובים לכל טוקן ומאפשר תעבורה גבוהה גם בטקסטים ארוכים במיוחד.

המודל מיועד ספציפית למשימות שמצריכות שרשרת חשיבה מלאה. במבחני חשיבה מתמטית ותכנות כמו AIME25 ו־LiveCodeBench הוא עוקף את הדור הקודם של הסדרה, ומציג תוצאות שמתחרות גם במודלים קנייניים כמו Gemini-2.5-Flash Thinking, במיוחד בפתרון בעיות קוד ומענה מרובה שלבים.

מתאים ל

• פתרון בעיות קוד מורכבות

  ציונים גבוהים ב־LiveCodeBench ו־CFEval יחד עם מנגנון חשיבה מובנה לניתוח שגיאות ובניית אלגוריתמים.

• סוכני אוטומציה מרובי כלים

  תמיכה מובנית בקריאה לפונקציות וביצועים יציבים במבחני סוכנים כמו BFCL-v3 ו־TAU.

• ניתוח מסמכים טכניים ארוכים

  חלון הקשר מקורי של 262 אלף טוקנים שמאפשר עיבוד מאגרי מידע שלמים בלי חלוקה גסה למקטעים.

איפה זה נופל

הוא עובד רק במצב חשיבה, והתבנית שלו מייצרת בלוקי חשיבה ארוכים במיוחד שלא מתאימים למי שמחפש תשובות קצרות ומהירות. בריצות רב־שלביות צריך לנקות ידנית את היסטוריית החשיבה מהזיכרון כדי לא לחנוק את ההקשר. הרחבה למיליון טוקנים באמצעות YaRN סטטי פוגעת ישירות באיכות התשובות על טקסטים קצרים, והעלאת מקדם ה־presence penalty לעצירת לולאות עלולה לגרום לערבוב שפות.

אותה משפחה

Qwen3-Next יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים במאגר מגיע ל־1.2 טרה בייט, שמחולקים ל־40 קבצים ומכילים מגוון רחב של רמות כימות. כדי להריץ את המודל בהקשר המלא של 256 אלף טוקנים, תצטרכו שרת עם 4 כרטיסי מסך מודרניים ותמיכה ב־Tensor Parallelism דרך מנועים כמו vLLM או SGLang.

אם אתם צריכים רק שאילתות קצרות או משימות נקודתיות בלי חומרה ארגונית ייעודית, אין הצדקה אמיתית להחזיק אשכול שרתים כזה עצמאית. במקרה כזה עדיף לגשת ישירות לנקודת קצה מנוהלת דרך API ולשלם לפי שימוש.

ollama run hf.co/unsloth/Qwen3-Next-80B-A3B-Thinking-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

40 קבצים במאגר, 1.2 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Q8_0/Qwen3-Next-80B-A3B-Thinking-Q8_0-00001-of-00002.gguf49.8 GB
• UD-Q6_K_XL/Qwen3-Next-80B-A3B-Thinking-UD-Q6_K_XL-00001-of-00002.gguf49.8 GB
• Q6_K/Qwen3-Next-80B-A3B-Thinking-Q6_K-00001-of-00002.gguf49.7 GB
• Q5_K_S/Qwen3-Next-80B-A3B-Thinking-Q5_K_S-00001-of-00002.gguf49.7 GB
• Q4_1/Qwen3-Next-80B-A3B-Thinking-Q4_1-00001-of-00002.gguf49.7 GB
• UD-Q5_K_XL/Qwen3-Next-80B-A3B-Thinking-UD-Q5_K_XL-00001-of-00002.gguf49.7 GB
• Q5_K_M/Qwen3-Next-80B-A3B-Thinking-Q5_K_M-00001-of-00002.gguf49.6 GB
• UD-Q8_K_XL/Qwen3-Next-80B-A3B-Thinking-UD-Q8_K_XL-00001-of-00002.gguf49.6 GB
• BF16/Qwen3-Next-80B-A3B-Thinking-BF16-00003-of-00004.gguf49.4 GB
• BF16/Qwen3-Next-80B-A3B-Thinking-BF16-00002-of-00004.gguf49.4 GB
• BF16/Qwen3-Next-80B-A3B-Thinking-BF16-00001-of-00004.gguf49.0 GB
• Qwen3-Next-80B-A3B-Thinking-Q4_K_M.gguf48.5 GB
• Qwen3-Next-80B-A3B-Thinking-UD-Q4_K_XL.gguf45.9 GB
• Qwen3-Next-80B-A3B-Thinking-Q4_K_S.gguf45.5 GB
• Qwen3-Next-80B-A3B-Thinking-Q4_0.gguf45.3 GB
• Qwen3-Next-80B-A3B-Thinking-IQ4_NL.gguf45.1 GB
• UD-Q8_K_XL/Qwen3-Next-80B-A3B-Thinking-UD-Q8_K_XL-00002-of-00002.gguf43.5 GB
• Qwen3-Next-80B-A3B-Thinking-IQ4_XS.gguf42.6 GB
• Qwen3-Next-80B-A3B-Thinking-Q3_K_M.gguf38.3 GB
• Qwen3-Next-80B-A3B-Thinking-UD-Q3_K_XL.gguf35.5 GB
• Q8_0/Qwen3-Next-80B-A3B-Thinking-Q8_0-00002-of-00002.gguf35.0 GB
• Qwen3-Next-80B-A3B-Thinking-Q3_K_S.gguf34.6 GB
• Qwen3-Next-80B-A3B-Thinking-UD-IQ3_XXS.gguf33.0 GB
• Qwen3-Next-80B-A3B-Thinking-UD-Q2_K_XL.gguf30.1 GB
• Qwen3-Next-80B-A3B-Thinking-Q2_K_L.gguf29.2 GB
• Qwen3-Next-80B-A3B-Thinking-Q2_K.gguf29.2 GB
• Qwen3-Next-80B-A3B-Thinking-UD-IQ2_XXS.gguf26.2 GB
• Qwen3-Next-80B-A3B-Thinking-UD-IQ1_M.gguf24.3 GB
• Qwen3-Next-80B-A3B-Thinking-UD-IQ1_S.gguf22.7 GB
• Qwen3-Next-80B-A3B-Thinking-UD-TQ1_0.gguf20.2 GB
• UD-Q6_K_XL/Qwen3-Next-80B-A3B-Thinking-UD-Q6_K_XL-00002-of-00002.gguf18.8 GB
• Q6_K/Qwen3-Next-80B-A3B-Thinking-Q6_K-00002-of-00002.gguf15.8 GB
• BF16/Qwen3-Next-80B-A3B-Thinking-BF16-00004-of-00004.gguf11.6 GB
• Q5_K_M/Qwen3-Next-80B-A3B-Thinking-Q5_K_M-00002-of-00002.gguf7.2 GB
• UD-Q5_K_XL/Qwen3-Next-80B-A3B-Thinking-UD-Q5_K_XL-00002-of-00002.gguf7.0 GB
• Q5_K_S/Qwen3-Next-80B-A3B-Thinking-Q5_K_S-00002-of-00002.gguf5.3 GB
• imatrix_unsloth.gguf_file457.0 MB
• Q4_1/Qwen3-Next-80B-A3B-Thinking-Q4_1-00002-of-00002.gguf336.3 MB
• README.md18.9 KB
• .gitattributes4.9 KB

הרישיון

הפרויקט מופץ ברישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי קוד, הפצה והטמעה מלאה במוצרים סגורים, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים עותק של תנאי הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗