GPT
הוספת כלי
Q

Qwen2.5-Coder-7B

קוד פתוח

Qwenapache-2.02024-09-16

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס ייעודי לקוד שמתאים למי שרוצה לאמן או לכוונן מודל פיתוח בעצמו. הוא מציע יכולות חישוב וקוד חזקות בגודל שעדיין אפשר להריץ על כרטיס בודד.

  • 7.6Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 608,320הורדות בחודש

מה זה

מדובר במודל בסיס מסדרת הקוד של Qwen שאומן על 5.5 טריליון טוקנים, כולל קוד מקור, נתונים סינתטיים וטקסט טכני. הדגש כאן הוא לא רק יצירת קוד פשוטה, אלא גם הסקת מסקנות, מתמטיקה ותיקון שגיאות, מה שהופך אותו לבסיס טוב לסוכני קוד ואוטומציות פיתוח.

ברירת המחדל מגיעה עם חלון הקשר של 32,768 טוקנים, אבל אפשר להרחיב אותו עד 131,072 טוקנים באמצעות מנגנון YaRN. בהשוואה למודלים כלליים אחרים בנפח של 7 מיליארד פרמטרים, המיקוד בשפת תכנות נותן לו יתרון מובהק בהבנת מבני קוד מורכבים כבר בשלב הטרום אימון.

מתאים ל

  • בסיס לכיוונון מודל פנימי

    נקודת מוצא מעולה לאימון מודל קוד ארגוני על בסיס נתונים פנימיים.

  • משימות השלמת קוד

    מתאים לביצוע fill in the middle ועריכת בלוקים של קוד בעורך.

  • פיתוח סוכני קוד מותאמים

    יכולות ההסקה והמתמטיקה מאפשרות לבנות עליו לוגיקה מורכבת.

איפה זה נופל

זהו מודל בסיס בלבד ולא מודל שעבר כיוונון הוראות. היוצרים עצמם מבהירים שהוא לא מתאים לשיחות או צ'אט בצורתו הנוכחית, ויש ליישם עליו SFT או התאמות דומות לפני שמשתמשים בו מול משתמש קצה. בנוסף, הפעלת YaRN לצורך הגדלת ההקשר מעבר ל־32 אלף טוקנים עלולה לפגוע באיכות הפלט בטקסטים קצרים בשל מגבלות טכניות במימוש הנוכחי.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-7B-Instruct2,440,111 Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-1.5B-Instruct666,164 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-1.5B258,743 Qwen2.5-Coder-7B-Instruct-GGUF256,578

שאלות
נפוצות

האם אפשר להשתמש בו ישירות בתור עוזר תכנות בצ'אט?

לא. מדובר במודל בסיס שפולט המשכי טקסט ולא עבר התאמה לשיחה, ולכן הוא לא יגיב טוב להוראות ישירות. לשימוש כזה יש לקחת גרסת Instruct מוכנה או לאמן אותו בעצמכם.

איך עובדת התמיכה בטקסטים ארוכים מעבר ל־32 אלף טוקנים?

הקובץ מוגדר במקור ל־32,768 טוקנים, וכדי להגיע עד 131,072 טוקנים צריך להגדיר הרחבת YaRN בקובץ הקונפיגורציה. שימו לב שהרחבה סטטית בשרתי היקש עשויה להוריד ביצועים בקלטים קצרים.

איך מריצים

המשקל עומד על 14.2 גיגה בייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון כדי לטעון אותו ולבצע היקש מקומי. הוא נתמך ישירות בספריית transformers מגרסה 4.37 ומעלה, ומומלץ להשתמש בפריימוורקים כמו vLLM להרצה מהירה.

אם אתם לא מתכננים לכוונן את המודל או לבצע אימון המשך, אין היגיון רב להריץ אותו מקומית בתור צ'אט, ועדיף להשתמש בגרסת instruct מכווננת או לפנות ל־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-7B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי הקוד והפצה מחדש. אתם יכולים לשלב אותו במוצר מסחרי, לאמן אותו מחדש או למכור שירותים שמתבססים עליו, כל עוד אתם שומרים על הודעת זכויות היוצרים ותנאי הרישיון המקוריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗