bartowski/Qwen2.5-Coder-32B-Instruct-GGUF

מה זה

מדובר בהמרה של מודל ההוראות לקוד של עליבאבא לפורמט llama.cpp, שביצע bartowski באמצעות כיול imatrix. המודל מתמחה ביצירת קוד, השלמות והסברים באנגלית לפי תבנית ChatML מובנית. הגודל של 32B נותן מענה חזק בהרבה ממודלי 7B או 14B טיפוסיים, ומתקרב לביצועים של מודלים ענקיים במשימות תכנות, כל עוד מריצים אותו בדיוק סביר.

המאגר מציע שורה ארוכה של רמות כיבוץ, מגרסאות זעירות של 2 ביט ועד Q8 של כמעט 35 גיגה בייט. ברירת המחדל המאוזנת לרוב האנשים היא Q4_K_M במשקל של כמעט 20 גיגה בייט, שמספקת איכות טובה בלי לקרוס תחת דרישות הזיכרון.

מתאים ל

• השלמת קוד מקומית

  מתאים לחיבור לסביבת הפיתוח כעוזר כתיבה מלא על גבי מחשב חזק ללא תלות ברשת.

• סקירת קבצי קוד רגישים

  ניתוח ובדיקת אבטחה של קוד ארגוני שלא ניתן להעלות לשירותי צד שלישי בענן.

• בדיקות אוטומטיות ב־ARM

  הרצה מהירה על שרתי ARM תואמים בעזרת קובצי ה־Q4 הייעודיים לארכיטקטורה זו.

איפה זה נופל

המודל מסומן לעבודה באנגלית בלבד, כך שלא כדאי לבנות עליו להבנת הנחיות מורכבות או הערות קוד בעברית. בנוסף, קבצי הכיבוץ הנמוכים במיוחד, כמו סדרות ה־IQ2 וה־Q2 ששוקלות בין 9 ל־13 גיגה בייט, מוגדרים באיכות נמוכה מאוד ועלולים לייצר שגיאות תחביר או הזיות בקוד. כמו כן, גרסאות ה־I-quants לא עובדות עם מאיצי Vulkan ואיטיות יותר על מעבדי אפל.

אותה משפחה

Qwen2.5-Coder יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מקומית צריך מנוע כמו LM Studio או llama.cpp ישירות. אם רוצים מהירות עבודה נורמלית, כל המודל חייב להיכנס לתוך הזיכרון של כרטיס המסך, כלומר צריך כרטיס עם לפחות 24 גיגה בייט של VRAM בשביל גרסאות Q4. אפשר לפצל את המשקל בין כרטיס המסך לזיכרון המערכת הרגיל, אבל אז מהירות יצירת הטוקנים צונחת משמעותית.

למי שיש חומרה חלשה יותר, גרסאות של פחות מ־4 ביט כמו IQ3 או Q3_K ידרשו פחות זיכרון אך במחיר של ירידה באיכות הקוד. גרסאות Q4_0 המותאמות במיוחד למעבדי ARM מיועדות לשם בלבד, ולא יעבדו כמצופה על חלונות או מק.

ollama run hf.co/bartowski/Qwen2.5-Coder-32B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

31 קבצים במאגר, 467 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-Coder-32B-Instruct-Q8_0.gguf34.8 GB
• Qwen2.5-Coder-32B-Instruct-Q6_K_L.gguf27.3 GB
• Qwen2.5-Coder-32B-Instruct-Q6_K.gguf26.9 GB
• Qwen2.5-Coder-32B-Instruct-Q5_K_L.gguf23.7 GB
• Qwen2.5-Coder-32B-Instruct-Q5_K_M.gguf23.3 GB
• Qwen2.5-Coder-32B-Instruct-Q5_K_S.gguf22.6 GB
• Qwen2.5-Coder-32B-Instruct-Q4_K_L.gguf20.4 GB
• Qwen2.5-Coder-32B-Instruct-Q4_K_M.gguf19.9 GB
• Qwen2.5-Coder-32B-Instruct-Q4_K_S.gguf18.8 GB
• Qwen2.5-Coder-32B-Instruct-Q4_0.gguf18.7 GB
• Qwen2.5-Coder-32B-Instruct-IQ4_NL.gguf18.7 GB
• Qwen2.5-Coder-32B-Instruct-Q4_0_4_4.gguf18.6 GB
• Qwen2.5-Coder-32B-Instruct-Q4_0_4_8.gguf18.6 GB
• Qwen2.5-Coder-32B-Instruct-Q4_0_8_8.gguf18.6 GB
• Qwen2.5-Coder-32B-Instruct-Q3_K_XL.gguf17.9 GB
• Qwen2.5-Coder-32B-Instruct-IQ4_XS.gguf17.7 GB
• Qwen2.5-Coder-32B-Instruct-Q3_K_L.gguf17.2 GB
• Qwen2.5-Coder-32B-Instruct-Q3_K_M.gguf15.9 GB
• Qwen2.5-Coder-32B-Instruct-IQ3_M.gguf14.8 GB
• Qwen2.5-Coder-32B-Instruct-Q3_K_S.gguf14.4 GB
• Qwen2.5-Coder-32B-Instruct-IQ3_XS.gguf13.7 GB
• Qwen2.5-Coder-32B-Instruct-Q2_K_L.gguf13.1 GB
• Qwen2.5-Coder-32B-Instruct-IQ3_XXS.gguf12.8 GB
• Qwen2.5-Coder-32B-Instruct-Q2_K.gguf12.3 GB
• Qwen2.5-Coder-32B-Instruct-IQ2_M.gguf11.3 GB
• Qwen2.5-Coder-32B-Instruct-IQ2_S.gguf10.4 GB
• Qwen2.5-Coder-32B-Instruct-IQ2_XS.gguf10.0 GB
• Qwen2.5-Coder-32B-Instruct-IQ2_XXS.gguf9.0 GB
• Qwen2.5-Coder-32B-Instruct.imatrix15.0 MB
• README.md11.8 KB
• .gitattributes3.7 KB

הרישיון

המודל מופץ תחת רישיון Apache 2.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה חופשית של הקבצים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אפשר לשלב אותו במוצרים פנימיים או מסחריים בלי לחשוף את קוד המקור של המוצר עצמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗