GPT
C

Codestral-22B-v0.1

קוד פתוח

mistralaiother2024-05-29

  • vllm
  • safetensors
  • mistral
  • code
  • mistral-common

מודל קוד של עשרים ושניים מיליארד פרמטרים שמיועד להשלמות חכמות ושיחה טכנית. הוא בנוי לעבודה שוטפת מול שפות תכנות פופולריות ותומך בהשלמת אמצע מדויקת.

  • 22Bפרמטרים
  • 32,768טוקנים בהקשר
  • 82.9 GBמשקל הקבצים
  • 10,092הורדות בחודש

מה זה

המודל הזה אומן על יותר משמונים שפות תכנות שונות, כולל פייתון, ג'אווה, סי, סי פלוס פלוס, ג'אווהסקריפט ובאש. מעבר לייצור קוד רגיל לפי הנחיות ומתן הסברים, הוא תומך מובנה ביכולת השלמת אמצע, מה שמאפשר לו לקבל קטע קוד קיים עם התחלה וסוף ולנחש במדויק מה חסר ביניהם.

עם חלון הקשר של 32,768 טוקנים וארכיטקטורה של 56 שכבות, יש לו מספיק מרחב לתפוס קבצים גדולים או הקשר רחב של פרויקט. היכולת הזו הופכת אותו לשימושי במיוחד עבור תוספי פיתוח לסביבות עבודה כמו וסקוד, איפה שצריך לא רק לייצר פונקציות חדשות מאפס אלא להבין את מה שכבר נכתב מסביב לסמן.

מתאים ל

  • תוסף להשלמת קוד בעורך

    יכולת השלמת האמצע מאפשרת להזין קוד לפני ואחרי הסמן ולקבל השלמה רציפה ומדויקת.

  • תיעוד והסבר קטעי קוד

    מצב ההנחיות יודע לקבל קטעים מורכבים במגוון שפות, לפרק אותם ולכתוב תיעוד מסודר.

  • מיגרציה והמרת שפות

    האימון על יותר משמונים שפות מאפשר לקחת פונקציות קיימות ולהעביר אותן לשפות אחרות.

איפה זה נופל

המודל מגיע ללא שום מנגנוני סינון או בקרת תוכן מובנים. המפתחים מציינים במפורש שאין בו שכבות הגנה מפני פלטים בעייתיים, כך שמי שמתכנן לחבר אותו ישירות לסביבת ייצור שדורשת ניטור יצטרך לבנות מנגנון כזה בעצמו. מעבר לכך, המפרסמים מציינים שהטוקנייזר בטרנספורמרס עלול לא להחזיר תוצאות זהות לחלוטין למימוש הרשמי שלהם.

שאלות
נפוצות

איזו חומרה אני צריך כדי להריץ אותו בעצמי?

המשקלים המקוריים תופסים כמעט 83 גיגה בייט בזיכרון, מה שדורש כרטיס מסך ברמת שרת. אם משתמשים בטרנספורמרס בדיוק מלא תצטרכו משאבים רציניים, אלא אם תשתמשו בקוונטיזציה או תריצו דרך וי אל אל אם.

באיזו ספרייה עדיף להשתמש כדי להפעיל אותו בפייתון?

היוצרים ממליצים לעבוד עם ספריית מיסטראל אינפרנס ומיסטראל קומון כדי לקבל תוצאות זהות למימוש המקורי. אפשר להשתמש גם בספריית טרנספורמרס המוכרת, אבל המפתחים מציינים שהטוקנייזר שלה עשוי להתנהג מעט אחרת.

איך מריצים

כדי להריץ אותו מקומית צריך לקחת בחשבון את הגודל הפיזי שלו. הקבצים שוקלים כמעט שמונים ושלושה ג'יגה בייט בפורמט בי פלוט 16. בספריית טרנספורמרס הוא נטען כברירת מחדל בדיוק מלא, כך שתצטרכו כרטיס גרפי חזק מאוד עם שפע של זיכרון ייעודי, או לחלופין לבצע קוונטיזציה כדי לחסוך מקום.

מיסטראל מספקת ספריות ייעודיות בשם מיסטראל אינפרנס ומיסטראל קומון לצורך הפעלה יעילה, כולל ממשק צ'אט מובנה בשורת הפקודה. בנוסף יש תמיכה בספריית וי אל אל אם שמתאימה מאוד להרצה מהירה בסביבות שרת.

pip install -U huggingface_hub
hf download mistralai/Codestral-22B-v0.1

הרישיון

המודל מופץ תחת רישיון קנייני מיוחד של מיסטראל בשם MNLP-0.1, ולא תחת רישיון קוד פתוח מוכר וסטנדרטי כמו אפאצ'י או MIT. הרישיון מסומן בתור רישיון אחר, ולכן חובה לקרוא היטב את תנאי השימוש המדויקים של החברה לפני שמשלבים אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗