bartowski/Qwen2.5-Coder-7B-Instruct-GGUF

מה זה

מדובר בהמרה של מודל ההוראות לקוד מבית Qwen לפורמט GGUF, כשהמטרה היא לאפשר הרצה על מעבדים ביתיים או כרטיסי מסך סטנדרטיים באמצעות llama.cpp וכלים דמויי LM Studio. היוצר, bartowski, השתמש בכיול מבוסס imatrix כדי לצמצם את הפגיעה באיכות בזמן הדחיסה. הדגש כאן הוא על יצירת קוד והבנת הנחיות פיתוח באנגלית, בתבנית צ'אט מוגדרת היטב.

המשקל של הקבצים נע בין 2.78 גיגה בגרסת IQ2_M המינימלית ועד 15.24 גיגה בגרסת f16 המלאה. המגוון הגדול מאפשר להתאים את רמת הדחיסה בדיוק לזיכרון הפנוי. ברמות הדחיסה הבינוניות כמו Q4 או Q5, הדגם שומר על יכולות הקידוד המקוריות שלו ומספק פתרון מקומי מהיר בלי צורך להחזיק תחנת עבודה ייעודית.

מתאים ל

• השלמת קוד מקומית ב־IDE

  מאפשר לייצר פונקציות והשלמות שורות במהירות מתוך העורך, בלי לשלוח שורות קוד סודיות לשרתים חיצוניים.

• כתיבת בדיקות יחידה

  יודע לקבל בלוק של קוד קיים ולפלוט בדיקות תואמות, משימה שמתאימה מאוד למודל הוראות ממוקד פיתוח.

• פיתוח על מחשבי ARM

  כולל גרסאות Q4_0_X_X מותאמות במיוחד שמנצלות חומרת ARM לקבלת מהירות עבודה סבירה ללא כרטיס גרפי ייעודי.

איפה זה נופל

הקבצים הזעירים שמתחת ל־4 ביט, כמו IQ2_M או Q2_K, מוגדרים אפילו בתיעוד כבעלי איכות נמוכה מאוד, והם עלולים לייצר קוד שבור, הזיות תחביריות ובאגים שקטנים לקלוט בעין. בנוסף, מדובר במודל 7B, כך שגם בדיוק מלא יש גבול ליכולת שלו לתכנן ארכיטקטורות מורכבות או להחזיק קבצי פרויקט ענקיים בלי לטעות.

המודל מתועד באנגלית בלבד, לכן לא כדאי לבנות עליו לניתוח דרישות או תיעוד בעברית. לפני שמחברים אותו לכלי עבודה יומי, צריך לבדוק אותו על שפת התכנות הספציפית שלכם ולוודא שהקוד שהוא מייצר אכן מתקמפל ועובר בדיקות בסיסיות.

אותה משפחה

Qwen2.5-Coder יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בנוחות, מורידים קובץ בודד שמתאים לחומרה שלכם ולא את כל המאגר. למי שמחפש איזון, גרסת Q4_K_M שוקלת 4.68 גיגה ודורשת כרטיס מסך עם לפחות 6 או 8 גיגה זיכרון כדי לרוץ כולה בתוך ה־VRAM ולקבל מהירות תגובה טובה. מעבדי ARM יכולים להשתמש בגרסאות הייעודיות מסדרת Q4_0_X_X שכוללות האצה מותאמת, אך הן לא מיועדות למערכות Metal של אפל.

אם יש לכם פחות מ־6 גיגה זיכרון זמין, אפשר לרדת ל־IQ3_M או Q3_K_M, אבל איכות הקוד תרד. במקרים שבהם המחשב חלש מאוד או שחייבים דיוק מקסימלי במשימות תכנות כבדות, עדיף להשתמש ב־API מרוחק של המודל המקורי ולא להתעקש על הרצה מקומית צולעת.

ollama run hf.co/bartowski/Qwen2.5-Coder-7B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 113 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-Coder-7B-Instruct-f16.gguf15.2 GB
• Qwen2.5-Coder-7B-Instruct-Q8_0.gguf8.1 GB
• Qwen2.5-Coder-7B-Instruct-Q6_K_L.gguf6.5 GB
• Qwen2.5-Coder-7B-Instruct-Q6_K.gguf6.3 GB
• Qwen2.5-Coder-7B-Instruct-Q5_K_L.gguf5.8 GB
• Qwen2.5-Coder-7B-Instruct-Q5_K_M.gguf5.4 GB
• Qwen2.5-Coder-7B-Instruct-Q5_K_S.gguf5.3 GB
• Qwen2.5-Coder-7B-Instruct-Q4_K_L.gguf5.1 GB
• Qwen2.5-Coder-7B-Instruct-Q4_K_M.gguf4.7 GB
• Qwen2.5-Coder-7B-Instruct-Q3_K_XL.gguf4.6 GB
• Qwen2.5-Coder-7B-Instruct-Q4_K_S.gguf4.5 GB
• Qwen2.5-Coder-7B-Instruct-Q4_0.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-Q4_0_4_4.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-Q4_0_4_8.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-Q4_0_8_8.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-IQ4_XS.gguf4.2 GB
• Qwen2.5-Coder-7B-Instruct-Q3_K_L.gguf4.1 GB
• Qwen2.5-Coder-7B-Instruct-Q3_K_M.gguf3.8 GB
• Qwen2.5-Coder-7B-Instruct-IQ3_M.gguf3.6 GB
• Qwen2.5-Coder-7B-Instruct-Q2_K_L.gguf3.5 GB
• Qwen2.5-Coder-7B-Instruct-Q3_K_S.gguf3.5 GB
• Qwen2.5-Coder-7B-Instruct-IQ3_XS.gguf3.3 GB
• Qwen2.5-Coder-7B-Instruct-Q2_K.gguf3.0 GB
• Qwen2.5-Coder-7B-Instruct-IQ2_M.gguf2.8 GB
• Qwen2.5-Coder-7B-Instruct.imatrix4.5 MB
• README.md10.7 KB
• .gitattributes3.4 KB

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי של הקוד והפצה פנימית או חיצונית בתוך מוצר, ללא תשלום תמלוגים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי בקבצים שמפיצים הלאה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗