stable-code-3b

מה זה

מדובר במודל שפת בסיס של 2.8 מיליארד פרמטרים שאומן על טקסט וקוד ב־18 שפות תכנות שונות, מתוך מטרה לתת מענה מקומי למשימות פיתוח.

הייחוד שלו בקטגוריית המשקל הזו הוא תמיכה מובנית במנגנון השלמת אמצע (FIM), שמאפשר לו להבין מה כתוב לפני ואחרי הסמן ולהשלים את החסר ביניהם, לצד חלון הקשר של 16,384 טוקנים. במבחני MultiPL-E הוא עוקף מודלים כמו CodeLlama 7B בפייתון עם 32.4% מול 30.0%, ובג'אווה עם 32.1% מול 31.1%, אם כי בשפות כמו Rust הוא נשאר מאחור עם 23.0% בלבד.

מתאים ל

• השלמת קוד בזמן אמת ב־IDE

  תמיכה במנגנון השלמת אמצע שמתאימה לקריאת הקוד שמעל ומתחת לסמן ועבודה מקומית מהירה.

• בסיס לאימון המשך פנימי

  גודל נוח של 2.8B שמאפשר לבצע fine-tuning על מאגר קוד ארגוני בלי להוציא הון על חומרה.

• ניתוח קבצי קוד ארוכים

  חלון הקשר של 16,384 טוקנים מאפשר להזין מודולים שלמים יחד במקום לחתוך פונקציות בודדות.

איפה זה נופל

זהו מודל בסיס ולא מודל שעבר התאמה לשיחה (instruction tuned), כך שהוא לא יודע לפטפט או להסביר קוד אלא פשוט ממשיך טקסט קיים. הכרטיס מזהיר במפורש שהנתונים כללו תוכן גולמי מהרשת שעלול לייצר קוד לא בטוח, שגוי או פוגעני, ולכן הוא לא מתאים לפרודקשן ישיר ללא בדיקות קפדניות או אימון המשך.

אותה משפחה

stable-code יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל רץ דרך ספריית transformers בפורמט bfloat16 ותומך בהאצה עם Flash Attention 2. בגלל גודלו, שדורש טעינה של כ־14.4 גיגה־בייט קבצים, אפשר להריץ אותו על כרטיס מסך ביתי בודד בעל זיכרון של 8 עד 16 גיגה־בייט תלוי בקוונטיזציה.

אם אתם צריכים רק שאילתות בודדות או עבודה מול קבצי ענק שחורגים מזיכרון ה־GPU שלכם, פנייה ל־API חיצוני תהיה זולה ופשוטה יותר מלתחזק שרת ייעודי.

ollama run hf.co/stabilityai/stable-code-3b:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

17 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• stable-code-3b.gguf5.6 GB
• model-00001-of-00002.safetensors5.0 GB
• stable-code-3b-Q6_K.gguf2.3 GB
• stable-code-3b-Q5_K_M.gguf2.0 GB
• model-00002-of-00002.safetensors610.2 MB
• tokenizer.json2.5 MB
• stable_code_3b_spiderchart.svg198.1 KB
• modeling_stablelm.py63.1 KB
• model.safetensors.index.json29.4 KB
• LICENSE.md11.9 KB
• README.md9.5 KB
• configuration_stablelm.py9.1 KB
• tokenizer_config.json4.8 KB
• .gitattributes1.5 KB
• config.json602 B
• special_tokens_map.json441 B
• generation_config.json111 B

הרישיון

הרישיון מוגדר כ־other ומבוסס על Community License של Stability AI. שימוש מסחרי דורש פנייה לעמוד הרישיונות של החברה כדי להסדיר תשלום או הרשאה, כך שאי אפשר פשוט להטמיע אותו במוצר מסחרי סגור בלי לבדוק מולם את התנאים.

הרישיון המלא בעמוד המודל ↗