Qwen2.5-Coder-7B-Instruct-GGUF

מה זה

המאגר הזה מכיל את גרסת ההוראות של מודל הקוד ממשפחת קוון בגודל שבעה מיליארד פרמטרים, ארוזה בפורמט ג׳י ג׳י יו אף לעבודה מקומית. הסדרה עברה אימון על חמישה וחצי טריליון טוקנים שכוללים קוד מקור, קישור בין טקסט לקוד ודאטה סינתטי, במטרה לשפר יכולות ייצור, הסקת מסקנות ותיקון שגיאות תוכנה. בניגוד לגרסאות כלליות, הדגש כאן הושם על תכנות לצד שימור יכולות מתמטיות, כדי שיוכל לשמש גם בסיס לסוכני קוד אוטומטיים.

המודל כולל ארכיטקטורה מודרנית עם גודל הקשר בסיסי של 32,768 טוקנים. אף על פי שהארכיטקטורה המקורית יודעת להגיע לעד 128 אלף טוקנים, בפורמט הנוכחי יש מגבלה טכנית. הוא בנוי עם מנגנון קשב מקובץ שעוזר לו לרוץ ביעילות רבה יותר על חומרה מקומית בהשוואה למודלים ישנים באותו הגודל.

מתאים ל

• עוזר פיתוח מקומי

  השלמת פונקציות ותיקון באגים בסביבת פיתוח סגורה בלי להוציא קוד החוצה.

• סוכן בדיקות ותיקון

  הרצת סקריפטים שבודקים קוד קיים, מאתרים תקלות ומציעים פתרונות ישירות במכונה.

• פתרון בעיות מתמטיות בקוד

  חישובים ואלגוריתמים מורכבים בזכות האימון ששילב מתמטיקה לצד תכנות.

איפה זה נופל

בגרסת הג׳י ג׳י יו אף הזו אתם מוגבלים לחלון הקשר של כמעט 33 אלף טוקנים. הרחבה לעד 131 אלף טוקנים באמצעות מנגנון יארן נתמכת כרגע רק בספריית וי אל אל אם על גרסאות שאינן בפורמט הזה. בנוסף, המודל מוגדר בעיקר לשפה האנגלית ואינו מאומן ייעודית לעברית, כך שלא כדאי לבנות עליו להסברים בעברית.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

איך מריצים

ההרצה מתבצעת בעיקר דרך לאמה סי פי פי. אין צורך להוריד את כל המאגר ששוקל מעל 90 גיגהבייט, אלא רק את הקובץ המתאים לרמת הדחיסה שבחרתם, למשל קיו חמש או קיו ארבע, שדורשים סביב חמישה עד שמונה גיגהבייט זיכרון כדי לעבוד בנוחות.

חלק מהקבצים הגדולים מפוצלים למספר חלקים, כך שיש להוריד את כולם ולאחד אותם עם הכלי הייעודי לפני הטעינה. מומלץ להריץ אותו דרך שורת הפקודה במצב שיחה עם פריקת שכבות לכרטיס המסך כדי לקבל מהירות כתיבה סבירה.

ollama run hf.co/Qwen/Qwen2.5-Coder-7B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 93.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• qwen2.5-coder-7b-instruct-fp16.gguf15.2 GB
• qwen2.5-coder-7b-instruct-q8_0.gguf8.1 GB
• qwen2.5-coder-7b-instruct-q6_k.gguf6.3 GB
• qwen2.5-coder-7b-instruct-q5_k_m.gguf5.4 GB
• qwen2.5-coder-7b-instruct-q4_k_m.gguf4.7 GB
• qwen2.5-coder-7b-instruct-q4_0.gguf4.4 GB
• qwen2.5-coder-7b-instruct-q5_0-00001-of-00002.gguf4.0 GB
• qwen2.5-coder-7b-instruct-q4_k_m-00001-of-00002.gguf4.0 GB
• qwen2.5-coder-7b-instruct-q5_k_m-00001-of-00002.gguf4.0 GB
• qwen2.5-coder-7b-instruct-q4_0-00001-of-00002.gguf4.0 GB
• qwen2.5-coder-7b-instruct-q8_0-00001-of-00003.gguf4.0 GB
• qwen2.5-coder-7b-instruct-fp16-00001-of-00004.gguf4.0 GB
• qwen2.5-coder-7b-instruct-q6_k-00001-of-00002.gguf4.0 GB
• qwen2.5-coder-7b-instruct-q8_0-00002-of-00003.gguf3.9 GB
• qwen2.5-coder-7b-instruct-fp16-00002-of-00004.gguf3.9 GB
• qwen2.5-coder-7b-instruct-fp16-00003-of-00004.gguf3.9 GB
• qwen2.5-coder-7b-instruct-q3_k_m.gguf3.8 GB
• qwen2.5-coder-7b-instruct-fp16-00004-of-00004.gguf3.6 GB
• qwen2.5-coder-7b-instruct-q2_k.gguf3.0 GB
• qwen2.5-coder-7b-instruct-q6_k-00002-of-00002.gguf2.3 GB
• qwen2.5-coder-7b-instruct-q5_k_m-00002-of-00002.gguf1.5 GB
• qwen2.5-coder-7b-instruct-q5_0-00002-of-00002.gguf1.3 GB
• qwen2.5-coder-7b-instruct-q4_k_m-00002-of-00002.gguf689.9 MB
• qwen2.5-coder-7b-instruct-q4_0-00002-of-00002.gguf448.2 MB
• qwen2.5-coder-7b-instruct-q8_0-00003-of-00003.gguf175.5 MB
• LICENSE11.3 KB
• README.md5.7 KB
• .gitattributes1.6 KB
• .msc638 B

הרישיון

הרישיון הוא אפאצ׳י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים, כל עוד שומרים על הודעת הרישיון המקורית וכתב הוויתור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗