Qwen2.5-Coder-7B-Instruct-128K-GGUF

מה זה

מדובר במודל ייעודי לפיתוח וכתיבת תוכנה מסדרת Qwen2.5, שהומר לפורמט GGUF על ידי צוות unsloth. המודל עבר הרחבת הקשר ל־128K טוקנים באמצעות שיטת YaRN, בניגוד לגרסת הבסיס שמגיעה עם שלושים ושניים אלף בלבד. לפי נתוני היצרן, הסדרה אומנה על חמישה וחצי טריליון טוקנים של קוד, טקסט ונתונים סינתטיים במטרה לשפר יכולות של יצירת קוד, הסקת מסקנות ותיקון שגיאות.

ההרחבה לחלון הקשר ענק מאפשרת להזין לתוכו קבצים שלמים או ספריות קטנות בלי לחתוך אותם מראש לחתיכות קטנות. עם שבעה מיליארד פרמטרים בלבד, הוא מנסה לתת מענה לעבודה מקומית שלא דורשת שרתי ענק, אך מותאמת ישירות להנחיות ולשיחה עם מפתח.

מתאים ל

• הסבר וניתוח קבצי קוד

  חלון הקשר של מאה עשרים ושמונה אלף טוקנים מאפשר לקרוא קבצים ארוכים ולמצוא בעיות תכנון.

• תיקון שגיאות מקומי

  אימון ממוקד קוד על חמישה וחצי טריליון טוקנים מסייע באיתור באגים והצעת חלופות.

• עבודה מבוססת הנחיות

  גרסת Instruct מתאימה למענה ישיר לשאלות מתכנתים ללא צורך באימון נוסף.

איפה זה נופל

שפת המודל המוגדרת היא אנגלית בלבד, כך שלא כדאי לבנות עליו לעבודה בעברית או לתיעוד מקומי. בנוסף, כרטיס המודל כולל בלבול פנימי וטוען בטקסט שמדובר במודל בסיס של חצי מיליארד פרמטרים, למרות שהכותרת והמזהה מדברים על מודל שבעה מיליארד שעבר התאמה להוראות. הרחבת הקשר באמצעות YaRN עלולה להציג ירידה באיכות התשובות בקצוות הזיכרון, וחובה לבדוק היטב דיוק של תיקוני באגים לפני שילוב ישיר בסביבת עבודה אמיתית.

אותה משפחה

Qwen2.5-Coder יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל מגיע בחבילה של 10 קבצי GGUF במשקל כולל של 43.3 גיגה בייט, שמכילים רמות כימות שונות. כדי להריץ קובץ יחיד מכומת של שבעה מיליארד פרמטרים, תצטרכו כרטיס מסך בודד עם 8 עד 16 גיגה זיכרון, או מעבד חזק עם מספיק זיכרון מערכת, באמצעות כלים שתומכים בפורמט כמו llama.cpp.

אם אתם מתכוונים לנצל את מלוא חלון ההקשר של מאה עשרים ושמונה אלף טוקנים, תוספת הזיכרון עבור זיכרון ההקשר תהיה כבדה ותדרוש משאבים רבים. במקרים שבהם צריך לנתח פרויקט שלם בקביעות ואין ברשותכם כרטיס עם זיכרון ייעודי מספק, עדיף להשתמש בפתרון ענן מרוחק.

ollama run hf.co/unsloth/Qwen2.5-Coder-7B-Instruct-128K-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

10 קבצים במאגר, 43.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-Coder-7B-Instruct-F16.gguf15.2 GB
• Qwen2.5-Coder-7B-Instruct-Q8_0.gguf8.1 GB
• Qwen2.5-Coder-7B-Instruct-Q6_K.gguf6.3 GB
• Qwen2.5-Coder-7B-Instruct-Q5_K_M.gguf5.4 GB
• Qwen2.5-Coder-7B-Instruct-Q4_K_M.gguf4.7 GB
• Qwen2.5-Coder-7B-Instruct-Q3_K_M.gguf3.8 GB
• Qwen2.5-Coder-7B-Instruct-Q2_K.gguf3.0 GB
• README.md6.9 KB
• .gitattributes2.0 KB
• config.json29 B

הרישיון

רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי ולא מטילים אחריות משפטית על המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗