KAT-Coder-V2.5-Dev-APEX-GGUF

קוד פתוח

mudlerapache-2.02026-07-24

gguf
quantized
apex
moe
mixture-of-experts

גרסת מכווצת ומותאמת של מודל קוד מבוסס מומחים, שמיועדת למשימות תכנות מורכבות וסוכנים אוטונומיים. היא נותנת דיוק גבוה על חומרה מקומית בזכות חלוקת משאבים חכמה.

133 GBמשקל הקבצים
1,287,013הורדות בחודש
55לייקים

מה זה

מדובר בקוונטיזציה של מודל הקוד של Kwaipilot, הבנוי בארכיטקטורת תערובת מומחים עם 256 מומחים מנותבים ומומחה אחד משותף, כאשר שמונה מומחים פועלים בכל טוקן. שיטת הדחיסה כאן שומרת על דיוק גבוה בשכבות הקצה ובמנגנון תשומת הלב, ודוחסת בעיקר את המומחים בשכבות האמצעיות שכמעט לא מופעלים ביחד.

בגרסאות שמסומנות באות I שולבו נתוני כיול ממגוון תחומים, כולל קוד, קריאות לכלים ועקבות פעולה של סוכנים, במטרה למנוע ירידה ביכולת ההסקה. התוצאה היא מודל שמכוון לכתיבת קוד ולריצת תהליכים אוטונומיים, עם התנהגות עקבית יותר מדחיסות אחידות רגילות.

מתאים ל

סוכני פיתוח אוטונומיים
כיול המודל כולל עקבות של סוכנים וקריאות לכלים, מה שמתאים לשילובו בתהליכי אוטומציה.
השלמת קוד מקומית ומאובטחת
ארגונים שלא רוצים להוציא קוד החוצה יכולים להריץ אותו על שרת פנימי ללא תלות ברשת.
הסבת מערכות מבוססות שפה
התאמה לשפות אנגלית וסינית מאפשרת לבצע ניתוח ועיבוד של מאגרי קוד בינלאומיים.

איפה זה נופל

למרות שההגדרות המקוריות מציינות טוקן תמונה, המודל שפורסם אינו כולל משקלי ראייה כלל ומוגבל לטקסט בלבד. בנוסף, השפות הנתמכות רשמית הן אנגלית וסינית, כך שאי אפשר לבנות עליו לפיתוח ממשקים או לתיעוד בעברית. לפני שמשלבים אותו בזרימת עבודה, צריך לקחת בחשבון שהוא דורש סביבה מקומית כבדה ויכולת התמודדות עם תעבורת נתונים גבוהה בין זיכרון למעבד.

שאלות
נפוצות

האם המודל תומך בניתוח תרשימים וצילומי מסך?

לא. למרות שבקובץ ההגדרות מופיע טוקן תמונה, המשקלים ששוחררו לא כוללים מפענח ראייה והמודל עובד רק עם טקסט.

איזו גרסה עדיף להוריד לשימוש כללי?

גרסת I-Balanced מספקת את האיזון הטוב ביותר בין מהירות לאיכות, בזכות שימוש בכיול מתקדם שמונע שגיאות בקוד.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־133 גיגה בייט, כך שצריך זיכרון מאוחד רחב או מערך כרטיסים כדי לטעון אותו במלואו. אפשר להריץ אותו מקומית עם LocalAI או כלים מבוססי llama.cpp, כשיש מבחר גרסאות מ־Mini המהירה ועד Quality הרחבה.

אם אין לכם תחנת עבודה ייעודית עם שפע זיכרון או שרת ייעודי, עדיף להשתמש ב־API מרוחק. הרצה של קבצים בסדר גודל כזה על חומרה לא מתאימה תחנוק את המחשב ותייצר זמני תגובה איטיים מדי לעבודה שוטפת.

ollama run hf.co/mudler/KAT-Coder-V2.5-Dev-APEX-GGUF:KAT-Coder-V2.5-Dev-APEX-Quality

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

KAT-Coder-V2.5-Dev-APEX-I-Balanced25.3 GB KAT-Coder-V2.5-Dev-APEX-Balanced25.3 GB KAT-Coder-V2.5-Dev-APEX-I-Quality22.8 GB KAT-Coder-V2.5-Dev-APEX-Quality22.8 GB KAT-Coder-V2.5-Dev-APEX-I-Compact16.5 GB KAT-Coder-V2.5-Dev-APEX-Compact16.5 GB KAT-Coder-V2.5-Dev-APEX-I-Mini13.5 GB

הקבצים

9 קבצים במאגר, 133 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו מחדש בתוך מוצרים. התנאי היחיד הוא שמירה על הודעות זכויות היוצרים והצהרה על שינויים שנעשו.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗