GPT
הוספת כלי
Q

Qwen2.5-Coder-0.5B

קוד פתוח

Qwenapache-2.02024-11-08

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

מודל קוד קטן ששוקל פחות מג'יגה ומציע חלון של 32 אלף טוקנים. פתרון ממוקד למי שרוצה להריץ השלמות קוד מקומית בלי לגעת בכרטיס מסך כבד.

  • 494Mפרמטרים
  • 32,768טוקנים בהקשר
  • 953 MBמשקל הקבצים
  • 21,644הורדות בחודש

מה זה

מדובר בגרסת הבסיס הקטנה ביותר במשפחת הקוד של Qwen2.5, עם חצי מיליארד פרמטרים בלבד. המודל אומן כחלק מסדרה שקיבלה 5.5 טריליון טוקנים שכוללים קוד מקור ומידע סינתטי, כך שהוא מכיר תחביר ומבני תוכנה טוב בהרבה ממה שהורגלנו לראות בגדלים האלה בעבר.

הייחוד העיקרי שלו מול מודלים זעירים אחרים הוא שילוב של ארכיטקטורה מודרנית עם תמיכה בהקשר ארוך יחסית של 32,768 טוקנים. הוא יודע לחזות את הטוקן הבא בקוד, לתקן באגים פשוטים ולבצע משימות השלמה, כל עוד זוכרים שמדובר במודל בסיס שטרם עבר כוונון לשיחה.

מתאים ל

  • השלמת קוד מקומית

    מתאים למשימות מילוי באמצע הקוד בתוך עורכי פיתוח, בזכות גודל אפסי ומהירות תגובה.

  • אימון ייעודי ובסיס ל־SFT

    בסיס מעולה לפיין-טיונינג על בסיס קוד פנימי של ארגון בלי לבזבז משאבי מחשוב ענקיים.

  • בדיקות תחביר ותיקון שורות

    משתלב בקלות בסקריפטים של אוטומציה אוטומטית שדורשים הבנה של מבנה שורות קוד.

איפה זה נופל

היוצרים מבהירים במפורש לא להשתמש בו לצ'אט או לשיחה. זהו מודל בסיס שאינו כולל כוונון להוראות, ולכן אם תזרקו לו שאלות פתוחות, תקבלו במקרה הטוב המשך של טקסט ובמקרה הרע מלמול תחבירי. בנוסף, הוא מתועד באנגלית בלבד, ועם 494 מיליון פרמטרים אי אפשר לצפות ממנו להבין ארכיטקטורות תוכנה סבוכות.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-7B-Instruct2,440,111 Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-1.5B-Instruct666,164 Qwen2.5-Coder-7B608,320 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-1.5B258,743

שאלות
נפוצות

אפשר לדבר איתו בעברית כמו עם צ'אטבוט?

לא. המודל מתועד באנגלית בלבד, ומעבר לזה הוא מודל בסיס שלא אומן לשיחה. הוא נועד להשלים קוד ולא לענות לפניות של משתמשים.

למה כדאי לבחור בו ולא בגרסאות הגדולות של הסדרה?

היתרון היחיד שלו הוא החיסכון הקיצוני במשאבים. אם יש לכם מחשב פשוט, שרת חלש או צורך בהשהיה אפסית להשלמת מילים, הוא נותן מענה שאף מודל 14B או 32B לא יכול לתת בלי חומרה יקרה.

איך מריצים

במשקל של כ־953 מגה-בייט, אתם יכולים להריץ אותו ישירות דרך ספריית transformers בלי מאמץ מיוחד ובלי GPU יקר. הוא עולה בלי בעיה על זיכרון של מעבד רגיל או כרטיס מסך בסיסי, בתנאי שגרסת הספרייה שלכם היא 4.37.0 ומעלה כדי למנוע שגיאות זיהוי של הארכיטקטורה.

אם אתם צריכים רק השלמות פשוטות בתוך עורך הקוד, הרצה מקומית תעבוד מהר מאוד ובחינם. שירותי ענן או מודלים גדולים יותר דרך API יהיו עדיפים רק כשאתם מצפים לתשובות מורכבות, הסברים מילוליים או כתיבת פונקציות שלמות מאפס.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-0.5B")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 953 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשלב אותו בתוך מוצר סגור, לשנות את המשקלים או לאמן אותו הלאה, כל עוד שומרים על תנאי הרישיון המקוריים ומתן הקרדיט הנדרש.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗