Qwen3.5-0.8B-MTP-GGUF

מה זה

מדובר במודל שפיתחה עליבאבא ועבר המרה לקובצי GGUF על ידי צוות Unsloth. המודל כולל ארכיטקטורה היברידית של Gated DeltaNet ורשתות תשומת לב, יחד עם יכולת עיבוד תמונה וטקסט. המאפיין הבולט כאן הוא אימון MTP, שנועד לאפשר פענוח ספקולטיבי ומאיץ את קצב ייצור הטוקנים בעד פי שניים באמצעות הרחבה ייעודית בתוכנת ההרצה.

מבחינת ביצועים, המספרים בכרטיס ממחישים היטב את הפער של מודל קטן. במבחן MMLU-Pro ללא מצב חשיבה הוא מקבל 29.7 נקודות, וכשמפעילים חשיבה הוא עולה ל־42.3 נקודות בלבד, בעוד דגמים גדולים יותר בסדרה חוצים את ה־60 וה־70. במבחני סוכנים ומעקב אחר הוראות מורכבות התוצאות נשארות נמוכות יחסית, כך שהייעוד המעשי שלו הוא פרוטוטייפים, בדיקות וסיווגים קלים ולא פתרון בעיות עמוק.

מתאים ל

• בדיקת פרוטוטייפ מקומי

  צריכת הזיכרון הנמוכה ומנגנון החיזוי מאפשרים לבדוק שרשראות קריאה לפונקציות במהירות על מחשב נייד.

• מיון ראשוני של טקסטים

  מתאים למשימות סיווג בסיסיות שבהן מהירות התגובה ועלות ההרצה קריטיות יותר מהעמקה בניואנסים.

• אימון נוסף למשימה בודדת

  גודל המודל הופך אותו למועמד נוח וזול לכוונון ייעודי על דאטה מצומצם בעזרת הכלים של Unsloth.

איפה זה נופל

המודל חלש מאוד במשימות מתמטיקה והיגיון מורכב. במבחן PolyMATH הוא מגרד 8.2 נקודות, ובמבחן ההיגיון המדעי GPQA הוא נעצר ב־11.9 נקודות בלבד, כאשר במבחני היגיון כמו HMMT כלל לא פורסמו תוצאות עבורו. גם יכולות מעקב ההוראות נמוכות משמעותית משאר הדגמים בסדרה, עם 44 נקודות בלבד ב־IFEval במצב חשיבה. מעבר לכך, התמיכה בתמונות לצד מנגנון ההאצה עדיין אינה שלמה בתוכנת ההרצה.

איך מריצים

ההרצה המקומית מתבססת על llama.cpp מקומפל עם תמיכה בדגל draft-mtp כדי לקבל את תוספת המהירות. הקבצים שוקלים בסך הכול 13.2 גיגה בייט ומחולקים ל־27 קבצים שונים, כך שאפשר להריץ אותם בקלות על חומרת צרכנים, כולל מעבד רגיל או מעבדי אפל באמצעות כיבוי מאיצי שרת, לצד אפשרות להאצה מלאה על כרטיס גרפי פשוט.

בכרטיס מצוין מפורשות שפיצ'ר ה־MTP עדיין לא תומך בריבוי תהליכים במקביל או במודול התמונות הנפרד, ולכן הרצה של יכולות חזותיות במקביל לחיזוי המואץ מוגבלת כרגע. אם אתם צריכים לנתח תמונות באופן אמין או לענות לפניות רבות בו זמנית, שימוש ב־API מרוחק של מודל גדול יחסוך את כאב הראש.

ollama run hf.co/unsloth/Qwen3.5-0.8B-MTP-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 13.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen3.5-0.8B-BF16.gguf1.6 GB
• Qwen3.5-0.8B-UD-Q8_K_XL.gguf1.2 GB
• Qwen3.5-0.8B-Q8_0.gguf833.6 MB
• Qwen3.5-0.8B-UD-Q6_K_XL.gguf790.8 MB
• Qwen3.5-0.8B-Q6_K.gguf658.1 MB
• Qwen3.5-0.8B-UD-Q5_K_XL.gguf614.2 MB
• Qwen3.5-0.8B-Q5_K_M.gguf600.4 MB
• Qwen3.5-0.8B-Q5_K_S.gguf585.5 MB
• Qwen3.5-0.8B-UD-Q4_K_XL.gguf573.0 MB
• Qwen3.5-0.8B-Q4_1.gguf550.6 MB
• Qwen3.5-0.8B-Q4_K_M.gguf549.7 MB
• Qwen3.5-0.8B-IQ4_NL.gguf535.4 MB
• Qwen3.5-0.8B-IQ4_XS.gguf524.7 MB
• Qwen3.5-0.8B-Q4_K_S.gguf524.6 MB
• Qwen3.5-0.8B-Q4_0.gguf521.5 MB
• Qwen3.5-0.8B-UD-Q3_K_XL.gguf508.1 MB
• Qwen3.5-0.8B-Q3_K_M.gguf484.3 MB
• Qwen3.5-0.8B-UD-Q2_K_XL.gguf454.6 MB
• Qwen3.5-0.8B-Q3_K_S.gguf452.6 MB
• Qwen3.5-0.8B-UD-IQ3_XXS.gguf429.1 MB
• Qwen3.5-0.8B-UD-IQ2_M.gguf409.3 MB
• mmproj-F32.gguf402.4 MB
• mmproj-BF16.gguf207.3 MB
• mmproj-F16.gguf205.0 MB
• imatrix_unsloth.gguf_file1.1 MB
• README.md64.4 KB
• .gitattributes2.7 KB

הרישיון

הרישיון הוא Apache 2.0 פתוח ומאפשר שימוש מסחרי, שינוי קוד והפצה של המודל בתוך מוצרים. התנאי המרכזי הוא שמירה על זכויות היוצרים וצירוף עותק מהרישיון המקורי, ללא אחריות מצד המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗