GPT
הוספת כלי
Q

Qwen2.5-Coder-7B-Instruct

קוד פתוח

Qwenapache-2.02024-09-17

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

מודל קוד קומפקטי שמכוון להוראות ומציע ביצועי פיתוח חזקים על חומרה מקומית נגישה. הוא מתאים למי שרוצה השלמת קוד, תיקון באגים וסוכן פיתוח עצמאי בלי לשלוח נתונים החוצה.

  • 7.6Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 2,440,111הורדות בחודש

מה זה

מדובר במודל ייעודי לכתיבת קוד שעבר אימון מקדים ואימון הוראות על מאגר של 5.5 טריליון טוקנים, כולל קוד מקור, נתונים סינתטיים וחיבור בין טקסט לקוד. הוא תוכנן במיוחד עבור משימות תכנות, הסקת מסקנות בקוד ותיקון שגיאות, תוך שמירה על יכולות טובות במתמטיקה ובהבנה כללית שנשענות על בסיס סדרת Qwen2.5.

היתרון שלו בגודל 7.6 מיליארד פרמטרים הוא התאמתו לתפקיד של סוכן קוד מקומי. בעוד שמודלים קטנים יותר מתקשים לייצר קוד מורכב או לעקוב אחרי רצף הוראות מדויק, הגרסה הזו נבנתה להתמודד עם משימות אמיתיות של פיתוח בלי לחייב שרתים כבדים, ותומכת בריצה עם הגדרות הרחבה לחלונות קוד ארוכים.

מתאים ל

  • השלמת קוד מקומית ב־IDE

    מתאים להרצה על תחנת עבודה לפיתוח יומיומי, השלמת פונקציות ובדיקות יחידה בלי דליפת קוד החוצה.

  • תיקון באגים אוטומטי

    יודע לנתח קטעי קוד פגומים, למצוא כשלים לוגיים ולהציע תיקון ממוקד לפי הנחיות מוגדרות מראש.

  • סוכן לפיתוח פרויקטים

    נבנה לעבודה כסוכן קוד שמסוגל לעבד רצף הוראות מורכב, לתכנן שינויים ולבצע משימות רב־שלביות.

איפה זה נופל

הכרטיס מציין בפירוש שהפעלת הרחבת YaRN ב־vLLM היא סטטית, מה שעלול לפגוע בביצועים ובדיוק של המודל בטקסטים קצרים. בנוסף, המודל מוגדר רשמית עבור אנגלית בלבד, ולכן לא מומלץ להסתמך עליו בהבנת תיעוד מורכב בעברית או בניתוח שגיאות בשפות אחרות. יש לבחון אותו היטב לפני שילובו בפרויקט שאינו דורש חלון ענק.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-1.5B-Instruct666,164 Qwen2.5-Coder-7B608,320 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-1.5B258,743 Qwen2.5-Coder-7B-Instruct-GGUF256,578

שאלות
נפוצות

האם כדאי להפעיל תמיד את הרחבת ההקשר ל־128K?

לא. היצרן מזהיר שהרחבת YaRN סטטית ועלולה להוריד את איכות התוצאות בפרומפטים קצרים. הפעילו את התצורה הזו רק אם אתם באמת מזינים קבצים ארוכים במיוחד.

איזה כרטיס מסך מינימלי צריך כדי לעבוד איתו בצורה חלקה?

הקבצים שוקלים 14.2 גיגה בייט, לכן נדרש כרטיס עם לפחות 16 גיגה בייט זיכרון לריצה בסיסית. לעבודה עם חלון הקשר מלא מומלץ כרטיס של 24 גיגה בייט ומעלה.

איך מריצים

המשקל הגולמי של הקבצים עומד על 14.2 גיגה בייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון כדי לטעון אותו ולהשאיר מקום לקונטקסט. המפתחים ממליצים להריץ אותו עם ספריית vLLM ולוודא שגרסת transformers עדכנית מעל 4.37.0 כדי למנוע שגיאות טעינה של הארכיטקטורה.

ברירת המחדל מוגדרת ל־32,768 טוקנים, אך אפשר להרחיב אותו עד 131,072 באמצעות הגדרת YaRN בקובץ התצורה. אם אתם צריכים רק שאילתות קוד מזדמנות ואין לכם כרטיס ייעודי זמין, קריאה ל־API תחסוך את כאב הראש של ניהול הזיכרון.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-7B-Instruct")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון apache-2.0 המאפשר שימוש מסחרי מלא, שינוי והפצה של הקוד והמשקלים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי, מה שמאפשר להטמיע אותו במוצרים פנימיים או מסחריים בלי לחשוף את הקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗