stable-code-instruct-3b — הדגמה
קוד פתוחstabilityaiother2024-03-22
ממשק שיחה פשוט לבדיקת מודל קוד של שלושה מיליארד פרמטרים. אתם כותבים שאלה או מבקשים קטע קוד, והוא פולט תשובה טקסטואלית בחלון צ'אט.
- 2.8Bפרמטרים
- 16,384טוקנים בהקשר
- 8.7 GBמשקל הקבצים
- —הורדות בחודש
מה זה
הממשק מבוסס על צ'אט בסיסי שבו אתם מקלידים הנחיות ומקבלים קוד או הסברים טכניים. מתחת למכסה המנוע רץ המודל stabilityai/stable-code-instruct-3b, שנטען באמצעות ספריית transformers ברמת דיוק של bfloat16. לפי הקוד, יש אפשרות להזרים את התשובות בזמן אמת באמצעות TextIteratorStreamer.
חוץ מתיבת הטקסט הרגילה, יש כאן שליטה ידנית בהגדרות הריצה. אתם יכולים לערוך את ה־System Prompt שמתחיל עם ברירת מחדל של עוזר שיחה מנומס, לשנות את מדד ה־Temperature בין 0 ל־1, ולקבוע את אורך הפלט המקסימלי מ־100 ועד 2048 תווים. אין כאן דוגמאות מוכנות מראש בקוד, כך שצריך לכתוב את הפרומפט הראשון לבד.
מתאים ל
- יצירת קטעי קוד
כותבים הנחיה בתיבת הקלט ומקבלים מימוש בקוד עד מגבלה של 2048 טוקנים.
- בדיקת המודל הקטן
בוחנים איך מודל ייעודי של 3B מתמודד עם שאלות תכנות מול מודלים גדולים.
- התאמת פרומפט מערכת
משנים את שדה ה־System Prompt כדי לכוונן את אופי התשובות והניסוח של המודל.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה ולא זמינה לשימוש בעמוד שלה. מעבר לזה, הממשק מספק צ'אט טקסטואלי בלבד, בלי יכולת להריץ את הקוד שנפלט, בלי סביבת בדיקה ובלי אינטגרציה לעורכי קוד. מי שבונה על כלי עבודה יומיומי לפיתוח יגלה שהממשק הזה דל מאוד ולא מייצג פתרון עבודה מלא אלא הדגמת יכולת יבשה.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה עכשיו?
לא, כרגע האפליקציה נמצאת במצב של שגיאת ריצה. עד שהמפתח לא יתקן את הקוד או את סביבת ההרצה, אי אפשר לשלוח הודעות בצ'אט. תצטרכו להמתין לעדכון או להוריד את המודל עצמו.
האם השימוש בממשק כרוך בתשלום?
הגישה להדגמה באתר פתוחה ואינה דורשת תשלום מראש. יחד עם זאת, הרישיון שמופיע בעמוד מוגדר כ־other ולא כרישיון חופשי מוכר. צריך לקרוא את תנאי הרישיון של המודל לפני שמסתמכים עליו.
האם אפשר להריץ את זה מקומית על המחשב?
כן, קוד המקור ב־app.py מראה שההרצה מתבצעת ישירות דרך ספריית transformers הרגילה. אפשר למשוך את המודל stabilityai/stable-code-instruct-3b ולהפעיל אותו על החומרה שלכם. מודל בגודל 3B רץ מצוין גם על כרטיסי מסך ביתיים.
במה הממשק הזה שונה מהמודל עצמו?
הממשק מוסיף מעטפת צ'אט גרפית עם שליטה בסיסית בטמפרטורה ובאורך התשובה. המודל שמאחוריו הוא אותו מודל בדיוק, אבל בהרצה מקומית אתם יכולים לחבר אותו לסביבת פיתוח, להגדיר פרמטרים נוספים ולעקוף תקלות שרת.
איך מריצים
כרגע אי אפשר להריץ את ההדגמה בדפדפן, פשוט כי היא נמצאת במצב שגיאת ריצה. אם הדף היה פעיל, הייתם מקלידים את הבקשה בתיבת הקלט, משחקים עם המחוונים של החום ומספר הטוקנים, ושולחים לביצוע. המרחב מוגדר על חומרת cpu-basic בסיסית, כך שגם אם השרת יעלה, אל תצפו לתגובות מהירות במיוחד ללא מאיץ גרפי ייעודי.
ollama run hf.co/stabilityai/stable-code-instruct-3b:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
13 קבצים במאגר, 8.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- model-00001-of-00002.safetensors5.0 GB
- stable-code-3b-q5_k_m.gguf2.0 GB
- stable-code-3b-q4_k_m.gguf1.7 GB
- model-00002-of-00002.safetensors610.2 MB
- tokenizer.json2.1 MB
- model.safetensors.index.json29.4 KB
- LICENSE.md11.9 KB
- tokenizer_config.json9.4 KB
- README.md6.7 KB
- .gitattributes1.6 KB
- config.json738 B
- special_tokens_map.json587 B
- generation_config.json132 B
הרישיון
הרישיון של המרחב מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי. לא מפורט בדף מה מותר לעשות עם הקוד שנוצר או איך מותר להשתמש בו. מומלץ לבדוק את תנאי השימוש המדויקים של המודל עצמו לפני שמשלבים תוצרים שלו בפרויקטים מסחריים.