GPT
הוספת כלי
Q

Qwen2.5-Coder-3B

קוד פתוח

Qwenother2024-11-08

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס קטן של 3 מיליארד פרמטרים שמתמחה בקוד, ומציע חלון הקשר מלא של 32,768 טוקנים. הוא פונה למי שמחפש נקודת מוצא זולה לאימון המשך או משימות השלמה מקומיות.

  • 3.1Bפרמטרים
  • 32,768טוקנים בהקשר
  • 5.8 GBמשקל הקבצים
  • 23,405הורדות בחודש

מה זה

מדובר במודל בסיס מסדרת הקוד של Qwen שאומן על 5.5 טריליון טוקנים, כולל קוד מקור, קישור בין טקסט לקוד ונתונים סינתטיים. בגודל של שלושה מיליארד פרמטרים, המטרה כאן היא לתת יכולות כתיבה, הסקת מסקנות ותיקון שגיאות בקוד, בלי לגרור משקל כבד של מודלי ענק.

הוא כולל ארכיטקטורה מודרנית עם 36 שכבות ותמיכה מובנית בהקשר של 32 אלף טוקנים. זה אומר שאפשר להזין לו קבצים שלמים או היסטוריה ארוכה יחסית בלי לחתוך את הקלט, אבל מכיוון שהוא מוגדר כמודל בסיס בלבד, הוא לא מגיע מוכן לצ'אט אלא מיועד בעיקר להשלמת קוד או כבסיס לפיין-טיונינג פנימי שלכם.

מתאים ל

  • השלמת קוד ב־IDE

    משקל קל של כ־6 גיגה מאפשר להריץ השלמות ישירות על מחשב הפיתוח.

  • בסיס לפיין-טיונינג

    אימון מקומי זול על בסיס מודל קוד שכבר ראה 5.5 טריליון טוקנים.

  • משימות Fill-in-the-Middle

    הכרטיס ממליץ עליו במפורש למילוי קטעים חסרים באמצע קבצי קוד.

איפה זה נופל

המגבלה הכי בולטת היא שהיוצרים מצהירים במפורש לא להשתמש בו לשיחות. מדובר במודל pretraining נקי, בלי כוונון להוראות או בטיחות, ולכן הוא יפלוט השלמות טקסט גולמיות במקום לענות לשאלות. בנוסף, הוא מוגדר עבור השפה האנגלית בלבד, כך שאין מה לבנות עליו לפרויקטים בעברית או להבנת הערות בשפה מקומית.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-7B-Instruct2,440,111 Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-1.5B-Instruct666,164 Qwen2.5-Coder-7B608,320 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-1.5B258,743

שאלות
נפוצות

אפשר להשתמש בו כעוזר פיתוח בצ'אט?

לא, המפתחים מדגישים שהמודל הזה לא מיועד לשיחה. הוא ישלים שורות קוד הבאות, אבל לא יענה לשאלות כמו מודל שעבר התאמת הוראות.

איזה כרטיס מסך צריך כדי להרים אותו?

מכיוון שהקבצים שוקלים כ־5.8 גיגה בייט, כרטיס מסך ביתי עם 8 עד 12 גיגה זיכרון וידאו יספיק להרצה בסיסית. הוא דורש transformers מגרסה 4.37.0 ומעלה.

איך מריצים

המשקל של הקבצים עומד על 5.8 גיגה בייט בפורמט bfloat16, כך שכרטיס מסך בסיסי עם 8 או 12 גיגה זיכרון יחזיק אותו בקלות באופן מקומי. הוא רץ ישירות דרך ספריית transformers, אבל מחייב גרסה 4.37.0 ומעלה כדי לזהות את הארכיטקטורה ולא לזרוק שגיאת מפתח.

אם אתם רוצים רק להשלים קוד ב־IDE או לאמן שכבה עליונה משלכם, שווה להריץ אותו עצמאית בחומרה פשוטה. אם אתם מצפים לתשובות בשיחה חופשית או שאין לכם כוח לכוונן אותו בעצמכם, עדיף לפנות למודלים גדולים יותר דרך API ולא להתעסק עם גרסת הבסיס הזו.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-3B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 5.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון בעמוד מוגדר כ־other ולא כקוד פתוח סטנדרטי דוגמת MIT או אפאצ'י. זה אומר שחובה לבדוק את תנאי הרישיון המקוריים של Qwen לפני שמשלבים אותו במוצר מסחרי, ולא להניח שהשימוש חופשי לגמרי.

הרישיון המלא בעמוד המודל ↗