GPT
הוספת כלי
Q

Qwen2.5-Coder-0.5B-Instruct

קוד פתוח

Qwenapache-2.02024-11-06

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

זה מודל קוד מכוונן של פחות מחצי מיליארד פרמטרים ששוקל פחות מגיגהבייט. הוא נכנס ישירות לזיכרון של מחשב נייד ישן או שרת זול כדי לכתוב ולתקן קטעי קוד פשוטים.

  • 494Mפרמטרים
  • 32,768טוקנים בהקשר
  • 953 MBמשקל הקבצים
  • 84,299הורדות בחודש

מה זה

מדובר בגרסה הקטנה ביותר בסדרת דגמי הקוד של הפרויקט, שעברה אימון מקדים וכוונון להוראות על בסיס נתונים רחב של 5.5 טריליון טוקנים. היא מיועדת ליצירת קוד, הסקת מסקנות מתוך קוד ותיקון שגיאות, בלי לנסות להתחרות במפלצות ענק של עשרות מיליארדי פרמטרים. השוני המרכזי מול מה שהכרנו בגדלים האלה הוא שילוב של ארכיטקטורה מודרנית עם חלון הקשר מלא שמגיע ל־32,768 טוקנים, נתון חריג למשקל נוצה כזה.

הוא בנוי כמודל שפה סיבתי עם 24 שכבות ומשתמש במנגנון קשב מקובץ. הדגש פה הוא על יכולת לקבל הוראות ישירות בשפה טבעית ולתרגם אותן לתחביר תקין של שפות תכנות, תוך שמירה על יכולות בסיסיות במתמטיקה. מי שמחפש פתרון לריצה מקומית בתוך סביבות פיתוח בלי לשלוח שום דבר החוצה מקבל כאן נקודת פתיחה שעולה מהר מאוד לזיכרון ומגיבה בלי שיהוי מורגש.

מתאים ל

  • השלמת קוד מקומית ב־IDE

    הוא שוקל פחות מגיגהבייט ורץ על המעבד בלי כרטיס מסך, מה שמאפשר תגובה מהירה לכתיבת פונקציות קצרות בזמן אמת.

  • תיקון שגיאות תחביר אוטומטי

    מתאים לשרתי בדיקות אוטומטיים שמזהים שגיאות בסיסיות בקוד ומציעים תיקון מהיר ישירות בטרמינל.

  • יצירת סקריפטים ושאילתות

    מייצר פקודות פייתון או שאילתות פשוטות מתוך תיאור טקסטואלי קצר בלי צורך בחיבור לרשת.

איפה זה נופל

עם פחות מחצי מיליארד פרמטרים, היכולת שלו להבין לוגיקה סבוכה מוגבלת מאוד. הוא עלול לפספס תלויות מורכבות בין קבצים שונים או להמציא פונקציות כשמבקשים ממנו משימות שחורגות מסקריפטים סטנדרטיים. בנוסף, המודל מוגדר לשפה האנגלית בלבד, כך שאין מה לבנות עליו להוראות בעברית או להערות בעברית בקוד. חלון ההקשר אמנם גדול על הנייר, אך בזיכרון של מודל כל כך קטן קשה לו מאוד לחלץ פרטים עדינים מתוך טקסטים ארוכים באמת.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-7B-Instruct2,440,111 Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-1.5B-Instruct666,164 Qwen2.5-Coder-7B608,320 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-1.5B258,743

שאלות
נפוצות

האם המודל תומך בהוראות בעברית?

המודל הוכרז וסווג רשמית עבור אנגלית בלבד. עדיף לכתוב לו פרומפטים והערות קוד אך ורק באנגלית כדי להימנע מטעויות תחביר והזיות.

האם חייבים GPU כדי להשתמש בו?

ממש לא. כל המשקלים שלו תופסים פחות מגיגהבייט אחד, ולכן מעבד מחשב רגיל מסוגל לטעון אותו לזיכרון ולהריץ הסקת מסקנות בקצב מצוין.

איך מריצים

כדי להריץ אותו צריך רק את ספריית transformers בגרסה 4.37.0 ומעלה, כי גרסאות ישנות יותר זורקות שגיאה על ארכיטקטורת המודל. קבצי המשקל תופסים 953 מגהבייט בלבד, כך שלא חובה שום כרטיס מסך ייעודי. מעבד מודרני ממוצע מריץ אותו בקלות ישירות מזיכרון ה־RAM.

אם אתם צריכים לנתח מערכות ענקיות או לבצע ארכיטקטורה מורכבת של קוד, תעברו ישר ל־API של מודלים גדולים בהרבה. אבל כשרוצים השלמת קוד שקטה שעובדת אופליין לחלוטין בלי חשבונות ענן ובלי תשלום לפי טוקן, הרצה מקומית של הגרסה הזו היא הבחירה הכי הגיונית שיש.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-0.5B-Instruct")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 953 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, להטמיע אותו במוצר סגור ולהפיץ אותו בחופשיות. התנאי המרכזי הוא שמירה על הודעת הרישיון והקרדיט המקורי של המפתחים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗