Qwen2.5.1-Coder-7B-Instruct-GGUF

מה זה

מדובר בהמרה של מודל ההוראות לקוד מבית Qwen לפורמט GGUF בעזרת llama.cpp, שביצע המשתמש bartowski. המודל מתמקד ביצירת קוד, השלמת תחביר ועבודה לפי הוראות מוגדרות בשפה האנגלית, תוך שימוש בתבנית שיחה של ChatML. כל הקבצים הוכנו בשיטת כיול imatrix כדי לצמצם אובדן איכות בזמן הדחיסה.

היתרון המרכזי כאן הוא היחס שבין נפח הזיכרון לדיוק בקוד. ברמת שבעה מיליארד פרמטרים, המודל הזה מתחרה ישירות בכלים מקומיים אחרים ומציע חלופה מעשית למי שאינו יכול להריץ מודלי ענק של שבעים מיליארד פרמטרים, אך עדיין זקוק לתחביר תקין במגוון שפות פיתוח.

מתאים ל

• עוזר השלמת קוד מקומי

  מאפשר קבלת פונקציות והשלמות תחביר בזמן אמת בתוך סביבת הפיתוח, בלי להוציא קוד החוצה.

• הסבר ובדיקת קטעי קוד

  מנתח פונקציות קצרות, מוצא שגיאות תחביר בסיסיות ומייצר תיעוד מהיר באנגלית.

• הרצה על חומרת קצה

  נפח של פחות מחמישה גיגה בייט בגרסאות הביניים מאפשר הפעלה חלקה גם במחשבים ניידים ללא שרת.

איפה זה נופל

זהו מודל של שבעה מיליארד פרמטרים בלבד, והוא אינו מחליף מודלים ענקיים במשימות ארכיטקטורה מורכבות או בהבנת פרויקטים שלמים. גרסאות הדחיסה האגרסיביות, כמו אלו שמתחת ל־4 ביט ובראשן משפחת Q2 או IQ2, סובלות מירידה ניכרת באיכות ועלולות לייצר שגיאות תחביר והזיות בקוד. בנוסף, המודל מוגדר ומאומן באנגלית, כך שאין לצפות לביצועים טובים בהוראות או בהערות בעברית.

איך מריצים

להרצה מקומית בתוכנות כמו LM Studio או llama.cpp, בוחרים קובץ בודד בלבד מתוך המאגר. לרוב כרטיסי המסך הביתיים בעלי 8GB זיכרון, גרסת Q4_K_M במשקל 4.68GB תעבוד מצוין, תיכנס כולה לזיכרון הגרפי ותיתן קצב עבודה מהיר. מי שמחזיק מעבד ARM יכול לבדוק את גרסאות Q4_0_4_4 הייעודיות, אך הן אינן מתאימות למחשבי חלונות או מק.

אם אין לכם כרטיס מסך מתאים והמערכת נאלצת לפנות לזיכרון הראשי, זמני התגובה יהיו אטיים מאוד. במצב כזה, או בעבודה על פרויקטים כבדים הדורשים מעקב אחרי תיקיות שלמות, עדיף להשתמש בחיבור API מרוחק מאשר להריץ את המודל מקומית.

ollama run hf.co/bartowski/Qwen2.5.1-Coder-7B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 113 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5.1-Coder-7B-Instruct-f16.gguf15.2 GB
• Qwen2.5.1-Coder-7B-Instruct-Q8_0.gguf8.1 GB
• Qwen2.5.1-Coder-7B-Instruct-Q6_K_L.gguf6.5 GB
• Qwen2.5.1-Coder-7B-Instruct-Q6_K.gguf6.3 GB
• Qwen2.5.1-Coder-7B-Instruct-Q5_K_L.gguf5.8 GB
• Qwen2.5.1-Coder-7B-Instruct-Q5_K_M.gguf5.4 GB
• Qwen2.5.1-Coder-7B-Instruct-Q5_K_S.gguf5.3 GB
• Qwen2.5.1-Coder-7B-Instruct-Q4_K_L.gguf5.1 GB
• Qwen2.5.1-Coder-7B-Instruct-Q4_K_M.gguf4.7 GB
• Qwen2.5.1-Coder-7B-Instruct-Q3_K_XL.gguf4.6 GB
• Qwen2.5.1-Coder-7B-Instruct-Q4_K_S.gguf4.5 GB
• Qwen2.5.1-Coder-7B-Instruct-Q4_0.gguf4.4 GB
• Qwen2.5.1-Coder-7B-Instruct-Q4_0_4_4.gguf4.4 GB
• Qwen2.5.1-Coder-7B-Instruct-Q4_0_4_8.gguf4.4 GB
• Qwen2.5.1-Coder-7B-Instruct-Q4_0_8_8.gguf4.4 GB
• Qwen2.5.1-Coder-7B-Instruct-IQ4_XS.gguf4.2 GB
• Qwen2.5.1-Coder-7B-Instruct-Q3_K_L.gguf4.1 GB
• Qwen2.5.1-Coder-7B-Instruct-Q3_K_M.gguf3.8 GB
• Qwen2.5.1-Coder-7B-Instruct-IQ3_M.gguf3.6 GB
• Qwen2.5.1-Coder-7B-Instruct-Q2_K_L.gguf3.5 GB
• Qwen2.5.1-Coder-7B-Instruct-Q3_K_S.gguf3.5 GB
• Qwen2.5.1-Coder-7B-Instruct-IQ3_XS.gguf3.3 GB
• Qwen2.5.1-Coder-7B-Instruct-Q2_K.gguf3.0 GB
• Qwen2.5.1-Coder-7B-Instruct-IQ2_M.gguf2.8 GB
• Qwen2.5.1-Coder-7B-Instruct.imatrix4.5 MB
• README.md10.9 KB
• .gitattributes3.4 KB

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה מחדש במוצרים סגורים. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים ומסמך הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗