GPT
הוספת כלי
Q

Qwen2.5-Coder-1.5B-Instruct

קוד פתוח

Qwenapache-2.02024-09-18

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • code

יש כאן גם סקירה על Qwen עצמו.

גרסת קוד ממוקדת הוראות ששוקלת פחות משלושה גיגהבייט. היא נכנסת כמעט בכל מעבד גרפי פשוט ומתאימה למי שצריך השלמות ותיקוני תוכנה מקומיים.

  • 1.5Bפרמטרים
  • 32,768טוקנים בהקשר
  • 2.9 GBמשקל הקבצים
  • 666,164הורדות בחודש

מה זה

מדובר במודל שפת קוד קומפקטי שעבר אימון ייעודי על 5.5 טריליון טוקנים, שכוללים קוד מקור, נתונים סינתטיים וטקסט טכני. הדגש כאן הוא על שלושה דברים: כתיבת קוד, הסקת מסקנות לוגית סביב קוד ותיקון שגיאות, לצד שמירה על יכולות במתמטיקה.

ההבדל העיקרי מול מודלים זעירים אחרים הוא ההתאמה שלו לעבודה כסוכן קוד וחלון הקשר מלא של 32,768 טוקנים. הגודל הזה מאפשר לו לעבד קבצי קוד שלמים בבת אחת, בלי להיחנק אחרי כמה פונקציות בסיסיות, כל עוד זוכרים שמדובר בגרסת מיני ולא במודלי הענק של הסדרה.

מתאים ל

  • השלמת קוד מקומית ב־IDE

    משקל קל של 2.9 גיגהבייט מאפשר להריץ אותו ישירות על המחשב ללא השהיות רשת ובעלות אפסית.

  • תיקון שגיאות נקודתי

    האימון התמקד בתיקון קוד, מה שמתאים לטיפול בבאגים מוגדרים בפונקציות בודדות.

  • סוכן קוד בסביבה סגורה

    חלון של כמעט 33 אלף טוקנים מאפשר לקרוא קבצים שלמים בלי לשלוח מידע פנימי לשרת חיצוני.

איפה זה נופל

הנתונים הרשמיים מגדירים את המודל הזה באנגלית בלבד. אם תנסו לכתוב לו הערות או פרומפטים בעברית, התוצאות יהיו מקוטעות במקרה הטוב ולא שמישות במקרה הרע.

בנוסף, עם 1.5 מיליארד פרמטרים בלבד, יכולת ההסקה שלו מוגבלת ביחס למודלים המובילים. הוא אמנם אומן לתקן שגיאות ולבצע משימות סוכן, אבל בפרויקטים אמיתיים עם תלויות סבוכות הוא עלול לייצר הזיות בקלות. חובה לבדוק ולבצע ולידציה לכל פונקציה שהוא פולט.

אותה משפחה

Qwen2.5-Coder יצא ב־18 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

Qwen2.5-Coder-7B-Instruct2,440,111 Qwen2.5-Coder-14B-Instruct1,922,286 Qwen2.5-Coder-32B-Instruct1,603,991 Qwen2.5-Coder-32B-Instruct-AWQ1,465,778 Qwen2.5-Coder-7B608,320 Qwen2.5-Coder-3B-Instruct474,586 Qwen2.5-Coder-1.5B258,743 Qwen2.5-Coder-7B-Instruct-GGUF256,578

שאלות
נפוצות

האם המודל מבין הוראות שנכתבו בעברית?

לא מומלץ לבנות על זה. המודל הוגדר רשמית לשפה האנגלית בלבד, ולכן מתן הוראות או בקשת תיעוד בעברית יובילו לפלט משובש.

האם הגרסה הזו באמת יכולה להחליף מודלים גדולים כמו גרסת ה־32B?

לא. היכולות שהושוו ל־GPT-4o שייכות במפורש לגרסת ה־32B בסדרה, בעוד שגרסת ה־1.5B נועדה למשימות קלות, מהירות וספציפיות יותר.

איזו ספרייה נדרשת כדי להעלות אותו לקוד שלי?

הוא רץ באמצעות ספריית transformers הרגילה, אבל חובה לעבוד עם גרסה 4.37.0 ומעלה כדי שהארכיטקטורה תיטען ללא שגיאת מפתח.

איך מריצים

המשקל הכולל של הקבצים עומד על 2.9 גיגהבייט בדיוק bfloat16, כך שאפשר להריץ אותו בקלות על כרטיס מסך ביתי בסיסי, ואפילו על מעבד רגיל במחשב נייד דרך transformers. צריך רק לוודא שגרסת הספרייה היא 4.37.0 ומעלה כדי לא להיתקל בשגיאות טעינה של הארכיטקטורה.

אם אתם צריכים תגובות מהירות ומקומיות בתוך סביבת הפיתוח בלי תלות ברשת, הרצה עצמית כאן היא הבחירה הטבעית. מנגד, אם יש לכם משימות ארכיטקטורה מורכבות או ריפקטורינג של מערכות ענק, עדיף לפנות ל־API של מודלים גדולים בהרבה כמו גרסת ה־32B מאותה משפחה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Coder-1.5B-Instruct")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן אותו מחדש ולשלב אותו בתוך מוצר סגור שאתם מוכרים, בתנאי שאתם שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗