Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF

מה זה

מדובר בהמרה לפורמט GGUF של מודל שעבר זיקוק הסקת מסקנות על בסיס Claude 4.7 Opus. המודל בנוי כארכיטקטורת תערובת מומחים עם 35 מיליארד פרמטרים בסך הכל, אך בזמן ריצה מופעלים כשלושה מיליארד פרמטרים בלבד מתוך 256 מומחים מנותבים, יחד עם מומחים משותפים. בנוסף, הארכיטקטורה משלבת מנגנון קשב היברידי שבו שכבות קשב מלא רצות רק בכל שכבה רביעית, והשאר מבוססות שכבות ליניאריות או ממבה.

הייחוד כאן הוא שיטת הדחיסה APEX שמיועדת למודלי תערובת מומחים. השיטה מזהה אילו משקולות שייכות לשכבות המומחים ודוחסת אותן חזק יותר בשכבות האמצעיות, תוך שמירה על דיוק גבוה יותר בשכבות הקצה, במנגנוני הקשב ובמומחים המשותפים. גרסאות ה־I עברו כיול מול מגוון רחב של תרחישים שכוללים שיחה, קוד, הפעלת כלים וניתוח טקסט.

מתאים ל

• שרת הסקת מסקנות מקומי

  מערך MoE עם כ־3 מיליארד פרמטרים פעילים מאפשר מענה מהיר בניתוח בעיות בלי להחזיק חומרה ארגונית כבדה.

• עיבוד משולב טקסט ותמונה

  קובץ ה־mmproj מאפשר להריץ משימות ראייה והבנת תמונות על גבי חומרת קצה פרטית.

• הרצה על כרטיסי מסך ביתיים

  גרסאות ה־Compact בגודל 16 גיגה בייט נכנסות בכרטיסים נפוצים בלי לחרוג מהזיכרון הגרפי.

איפה זה נופל

יוצר המודל מציין במפורש שמבחני ביצועים כמותיים עדיין ממתינים ולא פורסמו עבור הגרסאות האלה. גרסת ה־I-Nano מוגדרת כניסיונית ודוחסת מומחים בשכבות האמצע לרמת IQ2_XXS של 2.06 ביט לפרמטר, מה שעלול לפגוע ביציבות ההיגיון במשימות מורכבות. חיסרון נוסף שחייבים לקחת בחשבון הוא התלות בקובץ הנפרד mmproj עבור יכולות ראייה, בלי הטעינה שלו עיבוד התמונה פשוט לא יעבוד.

איך מריצים

ההרצה המקומית מתבצעת דרך סביבות תואמות llama.cpp כמו LocalAI, כשהפקודה דורשת פשוט להפנות ישירות לקובץ הרצוי. קבצי הקוונטיזציה נעים מנפח של 11 גיגה בייט בגרסת ה־I-Nano הניסיונית, דרך 16 גיגה בייט לגרסאות ה־Compact שמתאימות לכרטיסי מסך ביתיים פופולריים, ועד 24 גיגה בייט לגרסאות ה־Balanced. קובץ ה־F16 המלא שוקל 65 גיגה בייט, ואם צריך עיבוד תמונה חובה להוריד גם את קובץ mmproj ששוקל כגיגה בייט אחד.

מי שאין לו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון פנימי יתקשה לקבל מהירות סבירה על הגרסאות המאוזנות. במצב כזה, או כשצריך אמינות גבוהה בלי בדיקות מקדימות על איכות הדחיסה, עדיף להשתמש ב־API מרוחק של מודל המקור.

ollama run hf.co/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF:Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Compact

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

12 קבצים במאגר, 212 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-F16.gguf69.4 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Balanced.gguf25.6 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-Balanced.gguf25.6 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Quality.gguf22.8 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-Quality.gguf22.8 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Compact.gguf17.3 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-Compact.gguf17.3 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Mini.gguf14.3 GB
• Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Nano.gguf11.6 GB
• mmproj.gguf899.3 MB
• README.md5.5 KB
• .gitattributes2.6 KB

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו בתוך תוכנה סגורה, בתנאי שמצרפים את הצהרת הרישיון והזכויות המקורית ומציינים את השינויים שבוצעו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗