Qwen3.5-9B-MTP-GGUF

מה זה

הגרסה הזו מביאה ארכיטקטורה היברידית של שכבות תשומת לב ליניאריות לצד שכבות רגילות, יחד עם יכולת עיבוד מולטימודלית מהבסיס. הדגש העיקרי כאן הוא תמיכה בפיענוח ספקולטיבי מסוג MTP, שמאפשר למודל לייצר מספר טוקנים קדימה בכל צעד חישוב ולהאיץ את קצב הפליטה פי אחד וחצי עד פי שניים בהשוואה להרצה רגילה.

במדדי ההערכה של שפת תכנות והיגיון, המודל מגיע לתוצאה של 65.6 בבחינת LiveCodeBench וציון של 81.7 בבחינת GPQA Diamond. בבדיקות של הפעלת כלים וסוכנים הוא מקבל 66.1 במדד BFCL, מה שמציב אותו בעמדה תחרותית מאוד ביחס למודלים בקטגוריית הגודל שלו, תוך תמיכה מוצהרת במעל מאתיים שפות.

מתאים ל

• עוזרי פיתוח מקומיים

  תמיכה מובנית בהגדרת תפקיד מפתח והאצת קצב הטקסט מתאימות לכתיבת קוד במחשב מקומי.

• מערכות הפעלת כלים

  שיפור ביכולת פענוח מבני נתונים מקוננים מסייע בדיוק קריאות לפונקציות ואינטגרציות.

• שרתי שיחה מהירים

  מנגנון הניחוש הספקולטיבי מוריד את זמני ההמתנה של משתמשים בשיחות טקסט רגילות.

איפה זה נופל

החיסרון המרכזי בפורמט הזה הוא חוסר הבשלות של התוכנה המריצה. הכרטיס מודה במפורש שפיענוח MTP אינו נתמך יחד עם מעבד התמונה, כך שנכון לעכשיו אתם נאלצים לבחור בין מהירות הפקת טקסט גבוהה לבין היכולת להזין תמונות. בנוסף, משימות תכנון מורכבות חושפות מגבלה קשה, עם ציון נמוך של שמונה עשר אחוזים בלבד במבחן DeepPlanning.

איך מריצים

כדי להפעיל אותו עם ההאצה המובנית צריך לבנות את llama.cpp מגרסה עדכנית עם תמיכה בטיוטת MTP. בהרצה דרך llama-server מעבירים את הדגל draft-mtp ומגדירים את עומק הניחוש קדימה, למשל עד שישה טוקנים. הרצה מלאה על כרטיס מסך בקוונטיזציה של ארבעה ביטים דורשת זיכרון וידאו טיפוסי של כרטיס מודרני בודד, סביב שתים עשרה עד שש עשרה גיגה בייט.

המפרסם מציין כי כרגע פיצ'ר הפיענוח המהיר לא עובד במקביל לפקודת mmproj לעיבוד תמונה, וגם לא בתצורת הרצה מרובת תהליכים. אם אתם צריכים לנתח תמונות ברצף או לשרת עשרות משתמשים במקביל באותו שרת, עדיף לפנות לנקודת קצה מנוהלת במקום להסתבך עם המגבלות של ההרצה המקומית הזו.

ollama run hf.co/unsloth/Qwen3.5-9B-MTP-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 139 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen3.5-9B-BF16.gguf18.4 GB
• Qwen3.5-9B-UD-Q8_K_XL.gguf13.2 GB
• Qwen3.5-9B-Q8_0.gguf9.8 GB
• Qwen3.5-9B-UD-Q6_K_XL.gguf9.0 GB
• Qwen3.5-9B-Q6_K.gguf7.7 GB
• Qwen3.5-9B-UD-Q5_K_XL.gguf6.9 GB
• Qwen3.5-9B-Q5_K_M.gguf6.7 GB
• Qwen3.5-9B-Q5_K_S.gguf6.6 GB
• Qwen3.5-9B-UD-Q4_K_XL.gguf6.1 GB
• Qwen3.5-9B-Q4_1.gguf6.0 GB
• Qwen3.5-9B-Q4_K_M.gguf5.9 GB
• Qwen3.5-9B-IQ4_NL.gguf5.6 GB
• Qwen3.5-9B-Q4_K_S.gguf5.6 GB
• Qwen3.5-9B-Q4_0.gguf5.6 GB
• Qwen3.5-9B-IQ4_XS.gguf5.5 GB
• Qwen3.5-9B-UD-Q3_K_XL.gguf5.2 GB
• Qwen3.5-9B-Q3_K_M.gguf4.8 GB
• Qwen3.5-9B-Q3_K_S.gguf4.5 GB
• Qwen3.5-9B-UD-Q2_K_XL.gguf4.4 GB
• Qwen3.5-9B-UD-IQ3_XXS.gguf4.3 GB
• Qwen3.5-9B-UD-IQ2_M.gguf4.0 GB
• mmproj-F32.gguf1.8 GB
• mmproj-BF16.gguf921.7 MB
• mmproj-F16.gguf918.2 MB
• imatrix_unsloth.gguf_file5.2 MB
• README.md80.3 KB
• .gitattributes2.7 KB

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש במודל לצרכים מסחריים, לשלב אותו בתוכנה סגורה, לשנות אותו ולהפיץ אותו בחופשיות. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים שמפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗