GPT
הוספת כלי
Q

Qwen2.5-Coder-14B

קוד פתוח

Qwenapache-2.02024-11-08

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס ייעודי לקוד שמתאים למי שרוצה לאמן או לכוונן בעצמו. הוא מציע גודל ביניים של 14 מיליארד פרמטרים שמשלב בין ביצועי תכנות חזקים ליכולת הרצה מקומית בלי חוות שרתים ענקית.

  • 15Bפרמטרים
  • 32,768טוקנים בהקשר
  • 27.5 GBמשקל הקבצים
  • 157,794הורדות בחודש

מה זה

מדובר במודל שנועד ליצירת קוד, הסקת מסקנות מתמטית ותיקון באגים, כחלק מסדרת מודלי התכנות של צוות קוון. המודלים בסדרה אומנו על 5.5 טריליון טוקנים שכוללים קוד מקור, קישורים בין טקסט לקוד ונתונים סינתטיים. המטרה כאן היא לתת תשתית לפיתוח סוכני קוד ולמשימות תכנות, תוך שמירה על יכולות כלליות בחשבון ובהיגיון.

הגרסה הזו מגיעה כמודל בסיס טהור משלב האימון המקדים, ולא עברה התאמה לשיחה. ברירת המחדל עומדת על 32,768 טוקנים, אבל אפשר להרחיב אותה עד 131,072 טוקנים באמצעות מנגנון הרחבה מתאים. המבנה הפנימי מבוסס על ארכיטקטורת קוון המוכרת עם מנגנוני קשב יעילים של שמונה ראשי מפתח וערך, מה שעוזר לשמור על מהירות ויעילות זיכרון בזמן עיבוד טקסטים ארוכים.

מתאים ל

  • אימון מודל קוד פנימי

    נקודת מוצא מצוינת למי שרוצה לעשות כוונון עדין על מאגרי קוד פרטיים של החברה.

  • השלמת קוד בקבצים גדולים

    מתאים למשימות מילוי באמצע על בסיסי קוד רחבים בזכות התמיכה בהקשר ארוך.

  • בניית סוכני תכנות

    מספק יכולות היגיון ומתמטיקה חזקות שנדרשות למערכות אוטונומיות שמנתחות באגים.

איפה זה נופל

זהו מודל בסיס בלבד והמפתחים מצהירים במפורש שהוא לא מתאים לצ'אט או לשיחה עם משתמש בלי אימון נוסף. אם תשאלו אותו שאלות הוא עשוי פשוט להמשיך את הטקסט במקום לענות. בנוסף, הרחבת חלון ההקשר מעבר לברירת המחדל דורשת הגדרה מיוחדת, שבגרסאות מסוימות פוגעת בביצועים על טקסטים קצרים. השפה המוצהרת בכרטיס היא אנגלית בלבד, כך שלא כדאי לבנות עליו לעבודה בעברית.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-7B-Instruct2,440,111 Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-1.5B-Instruct666,164 Qwen2.5-Coder-7B608,320 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-1.5B258,743

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כעוזר פיתוח בסגנון צ'אט?

לא מומלץ בכלל. מדובר במודל בסיס שלא עבר אימון ייעודי להוראות או לשיחה, ולכן הוא לא יגיב כמו בוט רגיל אלא פשוט ינסה להשלים את הקוד או השאלה שלכם. לצורך שיחה עדיף לחפש גרסה שעברה כוונון מיוחד או לאמן אותו בעצמכם.

איך אפשר לנצל את חלון ההקשר המלא שמגיע עד 128K טוקנים?

חלון הבסיס מוגדר ל־32 אלף טוקנים. כדי להגיע לטווח המלא צריך להפעיל הגדרת סקיילינג מסוג יארן בקובץ הקונפיגורציה. יש לקחת בחשבון שבכלים מסוימים ההגדרה הזו קבועה ועלולה לפגוע באיכות התשובות כשמזינים קטעי קוד קצרים.

איך מריצים

כדי להריץ את המודל בדיוק המקורי תצטרכו להוריד 27.5 גיגה בייט של משקלים, מה שמחייב כרטיס מסך מודרני עם לפחות 32 גיגה בייט זיכרון גרפי, או שני כרטיסים קטנים יותר במקביל. מי שרוצה להריץ אותו על מחשב מקומי יצטרך לבצע קוונטיזציה לרמות נמוכות יותר, או לפנות לשרת ייעודי בענן.

לסביבת ייצור ההמלצה של הצוות היא להשתמש בפריימוורקים כמו vLLM. אם אתם צריכים רק השלמות קוד מזדמנות בלי לכייל את המודל בעצמכם או להחזיק תשתית דולקת כל הזמן, קריאה למודל דרך שירות ענן תהיה זולה ופשוטה בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-14B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון אפאצ'י שתיים אפס. מדובר ברישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של המשקלים, שילוב במוצרים פרטיים והפצה מחדש, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗