GPT
הוספת כלי
Q

Qwen2.5-Coder-1.5B

קוד פתוח

Qwenapache-2.02024-09-18

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

מודל בסיס זעיר לקוד ששוקל פחות משלושה גיגהבייט. הוא נבנה כדי לתת יכולות יצירה והשלמת קוד מקומית בלי לטחון זיכרון ומשאבי חומרה.

  • 1.5Bפרמטרים
  • 32,768טוקנים בהקשר
  • 2.9 GBמשקל הקבצים
  • 258,743הורדות בחודש

מה זה

מדובר בגרסת הבסיס של סדרת הקוד מבית Qwen, עם 1.54 מיליארד פרמטרים בלבד. היוצרים אימנו את הסדרה כולה על 5.5 טריליון טוקנים שכוללים קוד מקור, מידע סינתטי וחיבור בין טקסט לתוכנה, כשהמטרה היא לספק יכולות של יצירת קוד, הסקת מסקנות ותיקון שגיאות לצד מתמטיקה.

הוא מגיע עם חלון הקשר של 32,768 טוקנים, נתון מרשים למשקל נוצה כזה, שמאפשר להזין קבצים שלמים בלי לחתוך אותם מראש. המודל שומר על דיוק bfloat16 ומבוסס על ארכיטקטורה הכוללת מנגנוני GQA ו־SwiGLU, כך שהוא מהיר וזול משמעותית ביחס לדגמים הגדולים במשפחה.

מתאים ל

  • השלמת קוד מקומית

    הוא קל מספיק לרוץ ברקע של עורך קוד ולבצע משימות השלמה תוך כדי הקלדה.

  • בסיס לאימון מותאם

    נקודת מוצא מצוינת למי שרוצה לעשות fine-tuning על מאגר קוד ארגוני בלי לשרוף תקציב.

  • סריקה ותיקון תחביר

    חלון של 32 אלף טוקנים מאפשר להריץ עליו קבצים שלמים לאיתור שגיאות בקוד קיים.

איפה זה נופל

זהו מודל פרה-טריינינג טהור ולא מודל שיחה, והיוצרים מציינים במפורש שהוא לא מיועד לצ'אט אלא אם מאמנים אותו הלאה בשיטות כמו SFT או RLHF. הוא לא יידע לענות לשאלות פתוחות כמו שרגילים מבוטים.

בנוסף, הכרטיס מציין תמיכה רשמית באנגלית בלבד, כך שלא כדאי לבנות עליו להבנת הערות או כתיבת תיעוד בעברית. היכולות המרשימות של הסדרה שמתחרות במודלים מסחריים שייכות לגרסאות הענק, וכאן מקבלים מודל מוגבל בהרבה שדורש התאמה ממוקדת כדי להפיק תוצאות יציבות.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-7B-Instruct2,440,111 Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-1.5B-Instruct666,164 Qwen2.5-Coder-7B608,320 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-7B-Instruct-GGUF256,578

שאלות
נפוצות

אפשר להשתמש בו ישירות כמו עוזר אישי בסגנון ChatGPT?

לא מומלץ בכלל. המפתחים מדגישים שזה מודל בסיס שנועד להשלמת טקסט ואימון המשך, ולא מודל שעבר התאמה לשיחה והוראות.

האם הוא מבין שפות שהן לא אנגלית?

לפי המפרט הרשמי השפה הנתמכת היא אנגלית בלבד. פקודות או תיעוד בעברית צפויים להניב תוצאות שבורות ולא מדויקות.

איך מריצים

המשקל הכולל של הקבצים עומד על 2.9 גיגהבייט, מה שאומר שאפשר להריץ אותו כמעט על כל כרטיס מסך פשוט, מחשב נייד מודרני או שרת ענן בסיסי דרך ספריית transformers. צריך רק לוודא שגרסת הספרייה היא 4.37.0 ומעלה כדי לא להיתקל בשגיאות טעינה.

מכיוון שהוא כל כך קל, אין שום סיבה לשלם על API חיצוני אם אתם צריכים בדיקות מקומיות או רצף של משימות פשוטות. אם המטרה היא מערכת שלמה שמייצרת פונקציות מורכבות ברמת פרודקשן, שווה לשקול פנייה למודלים הגדולים יותר בסדרה כמו ה־32B.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-1.5B")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, מה שמשחרר אתכם מדאגות משפטיות ברוב המקרים. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לאמן עליו מודלים פנימיים ולשלב אותו במוצרים מסחריים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗