Kwaipilot_KAT-Coder-V2.5-Dev-GGUF

קוד פתוח

bartowskiapache-2.02026-07-23

gguf
code
agent
agentic-coding
moe

גרסת GGUF מכווצת של מודל קוד שמיועדת להרצה מקומית עם שרשור מחשבה. מתאימה למי שרוצה בקר קוד עצמאי על החומרה שלו, בלי להוציא נתונים החוצה.

530 GBמשקל הקבצים
381,923הורדות בחודש
130לייקים

מה זה

המאגר הזה מכיל המרות שונות בפורמט GGUF של KAT-Coder-V2.5-Dev מבית Kwaipilot, שבוצעו על ידי המפתח bartowski באמצעות כלי llama.cpp. מדובר במודל שמכוון למשימות פיתוח תוכנה, כתיבת קוד והסבר לוגיקה, אשר עושה שימוש בתגית ייעודית של חשיבה לפני יצירת התשובה הסופית. המודל אומן בעיקר על אנגלית וסינית, וכל הכיווצים כאן נבנו בעזרת imatrix מותאם כדי לשמר דיוק מקסימלי ביחס למשקל המקורי.

במקום לקחת את משקלי ה־BF16 המלאים ששוקלים כמעט 70 גיגה-בייט, ההמרות כאן נעות על טווח רחב של דחיסות, החל מאיכות גבוהה של 8 ביט ועד לדחיסות אגרסיביות של 2 ביט. חלק מגרסאות הביניים שומרות על משקולות הקלט והפלט ברמת שמונה ביט כדי למנוע הידרדרות של ממש ביכולת הניסוח והבנת התחביר, מה שהופך את הגרסאות האלו לשימושיות גם כשהזיכרון הפנוי מוגבל.

מתאים ל

השלמת קוד אופליין
עבודה בסביבת פיתוח סגורה ללא חיבור רשת, תוך שמירה על קוד המקור בתוך הארגון.
סקירת קוד ואיתור באגים
ניתוח פונקציות מורכבות באנגלית תוך ניצול תהליך החשיבה המובנה של המודל.
שרת הסקה פנימי לצוות
הרצה מקומית על שרת עם מעבד חזק או כרטיס 24GB כחלופה לכלי ענן חיצוניים.

איפה זה נופל

הכרטיס לא מציג מבחני ביצועים ישירים על יכולות הקוד של המודל, אלא רק נתוני מהירות טכניים של כיווץ על מעבדי שרת. בנוסף, המודל מאומן רק על אנגלית וסינית, כך שהוא לא מתאים לעבודה שדורשת הבנה או יצירה של עברית. תבנית הפרומפט דורשת תמיכה במבנה מוגדר ובשלב חשיבה מובנה, וכל סטייה מהמבנה הזה תפגע קשות בתוצרים. בכיווצים שמתחת לארבעה ביט יש ירידה חדה באיכות הפלט, במיוחד בלוגיקה של תכנות.

שאלות
נפוצות

האם המודל יבין הערות או שאלות בעברית?

לא. המודל הוגדר ואומן עבור אנגלית וסינית בלבד. אם תכתבו לו בעברית הוא כנראה ייצר פלט משובש, יחזיר ג'יבריש או יתרגם לעצמו בצורה עילגת. לעבודה עם קוד בארץ מומלץ לכתוב את כל ההוראות והתיעוד באנגלית בלבד.

איזה קובץ מהרשימה כדאי להוריד למחשב ביתי חזק?

למי שמחזיק כרטיס מסך עם 24 גיגה זיכרון, גרסת Q4_K_M היא הבחירה המאוזנת ביותר בין גודל של כ־21.4 גיגה לאיכות התשובות. אם המטרה היא להריץ על המעבד, אפשר לבדוק את Q4_0 או IQ4_NL שמנצלות אופטימיזציות חומרה על ה־CPU.

למה המאגר שוקל 530 גיגה בייט אם מורידים רק קובץ אחד?

הנפח הכולל מציג את כל עשרות גרסאות הכיווץ שהועלו למאגר יחד. אין שום סיבה או צורך להוריד את כולם. בוחרים אך ורק את הקובץ הספציפי שמתאים ליכולות הזיכרון של המחשב שלכם ומורידים אותו לבד באמצעות כלי הפקודה.

איך מריצים

כדי להריץ אותו, מורידים רק קובץ אחד שמתאים לזיכרון שלכם, ולא את כל המאגר. אם אתם מכוונים להרצה מהירה שיושבת כולה על כרטיס המסך, תצטרכו כרטיס עם לפחות 24 גיגה זיכרון כדי להחזיק גרסה סבירה כמו Q4_K_M ששוקלת כ־21.4 גיגה, יחד עם מקום לקונטקסט. משתמשי מעבדי ARM או מעבדים רגילים יכולים לבחור בגרסאות שתומכות באריזה מחדש בזמן אמת כמו Q4_0 או IQ4_NL, שמאיצות את קצב העבודה על ה־CPU.

אם אין לכם כרטיס מסך חזק או מספיק זיכרון מערכת מהיר, דחיסות נמוכות כמו שתי ביט יעבדו טכנית על חומרה חלשה יותר סביב 10 גיגה, אבל יאבדו איכות משמעותית. במקרה כזה, עדיף בהרבה להשתמש ב־API מרוחק של מודל קוד מאשר לסבול מקצב איטי ומקוד שבור מקומית.

ollama run hf.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

31 קבצים במאגר, 530 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי של הקוד והפצה מחדש בלי תשלום תמלוגים, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. מי שרוצה להטמיע את המשקלים במוצר פנימי או מסחרי יכול לעשות זאת בחופשיות.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗