CodeQwen1.5-7B-Chat

מה זה

מדובר במודל שפותח במיוחד לכתיבה והבנה של קוד, לאחר שאומן על שלושה טריליון טוקנים ומכסה 92 שפות תכנות. מעבר ליצירת פונקציות רגילות, הדגש כאן הוא על משימות כמו המרת טקסט לשאילתות SQL, איתור באגים ותיקון שגיאות.

היתרון הגדול שלו לעומת מודלים סטנדרטיים בגודל שבעה מיליארד פרמטרים מגיע מהתמיכה בהקשר של 65,536 טוקנים. במקום להזין קטעי קוד בודדים, אפשר לטעון לתוכו ספריות שלמות, תיעוד טכני נרחב או קבצי לוג ארוכים, והוא משתמש בארכיטקטורת GQA כדי לשמור על מהירות סבירה בזמן הריצה.

מתאים ל

• המרת שאילתות SQL

  כתיבת שאילתות מורכבות מתוך תיאור מילולי, תחום שבו המודל מציג דיוק גבוה במיוחד.

• איתור ותיקון באגים

  קריאת מקטעי קוד תקולים ומתן הצעות לפתרון ב־92 שפות תכנות שונות.

• ניתוח קבצים ארוכים

  טעינת קבצי קוד שלמים בזכות חלון של 64K טוקנים שמחזיק את כל ההקשר ברצף.

איפה זה נופל

המודל מוגדר רשמית לשפה האנגלית בלבד, כך שלא כדאי לבנות עליו להנחיות בעברית או לתיעוד מקומי. בנוסף, המפתחים מציינים במפורש בעיות שעלולות לצוץ כמו החלפת שפות לא רצויה באמצע הפלט (code switching), וממליצים להסתמך בקפדנות על ערכי הקונפיגורציה המקוריים שלהם כדי להימנע מתוצאות שבורות.

אותה משפחה

CodeQwen1.5 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מקומית צריך לפחות כרטיס מסך אחד עם 16 גיגה זיכרון וידאו, שכן משקל המשקלים בפורמט bfloat16 תופס כ־13.5 גיגה עוד לפני שמחשבים את זיכרון ההקשר. חובה לוודא שמותקנת ספריית transformers בגרסה 4.37.0 ומעלה, אחרת טעינת הארכיטקטורה תיכשל מיד עם שגיאת KeyError.

אם אין לכם כרטיס גרפי מתאים ואתם מתכוונים לנצל את מלוא חלון ה־64K, צריכת הזיכרון תזנק. במצב כזה, פנייה לפתרון ענן שמריץ את המודל תהיה זולה ופשוטה בהרבה מלתחזק שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/CodeQwen1.5-7B-Chat")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors3.9 GB
• model-00002-of-00004.safetensors3.9 GB
• model-00001-of-00004.safetensors3.9 GB
• model-00004-of-00004.safetensors2.7 GB
• tokenizer.json4.5 MB
• tokenizer.model1.4 MB
• model.safetensors.index.json31.7 KB
• LICENSE6.9 KB
• README.md3.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json972 B
• config.json701 B
• generation_config.json212 B

הרישיון

הרישיון מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי כמו MIT או אפאצ'י. זה אומר שאי אפשר להניח שמותר להשתמש בו במוצר מסחרי, וחובה לבדוק את תנאי הרישיון המדויקים במאגר המקורי של הפרויקט לפני שמשלבים אותו במערכת פעילה.

הרישיון המלא בעמוד המודל ↗