GPT
הוספת כלי
M

Mamba-Codestral-7B-v0.1

קוד פתוח

mistralaiapache-2.02024-07-16

  • vllm
  • safetensors
  • mistral-common

מודל קוד של 7.3 מיליארד פרמטרים שמבוסס על ארכיטקטורת Mamba2 במקום טרנספורמר רגיל. הוא מציע ביצועים חזקים במיוחד בפייתון בלי החסרונות של זיכרון תשומת הלב המסורתי.

  • 7.3Bפרמטרים
  • 27.1 GBמשקל הקבצים
  • 16,050הורדות בחודש
  • 616לייקים

מה זה

המודל הזה זונח את מנגנון הטרנספורמר המוכר לטובת Mamba2, ארכיטקטורת State Space שנועדה להתמודד ביעילות עם רצפים ארוכים. הוא מיועד למשימות תכנות בשפות שונות, ומתחרה ראש בראש במודלים מובילים באותו סדר גודל.

במבחני ביצועים הוא עוקף מודלים כמו CodeLlama ו־DeepSeek 1.5 במבחן HumanEval עם תוצאה של 75%, ומוביל גם ב־CruxE ובגרסאות של HumanEval ל־C++ ו־JavaScript. המשמעות היא יכולת פתרון בעיות גבוהה בכתיבת פונקציות בסיסיות, בעיקר בפייתון.

מצד שני, הוא לא מוביל בכל שפה. ב־Java, ב־Spider של שאילתות SQL ובמשימות MBPP הוא מציג ציונים נמוכים יותר מ־DeepSeek המקביל, ובסקריפטים של Bash כולם עדיין מתקשים.

מתאים ל

  • השלמת קוד פייתון

    הוא משיג 75% ב־HumanEval, ציון מצוין לגודל 7B שמספיק בהחלט לפונקציות שוטפות.

  • פיתוח C++ ו־JavaScript

    התוצאות שלו במבחני השפות האלו מובילות מול שאר המודלים הפתוחים בקטגוריית המשקל שלו.

  • בדיקת הרצת קוד ב־CruxE

    הוא מוביל במבחן זה עם 57.8%, מה שמעיד על הבנה טובה של מעקב אחר מצב התוכנית.

איפה זה נופל

למרות ההבטחה, כתיבת קוד Bash מגיעה ל־31.1% בלבד בבנצ'מרק, מה שאומר שאי אפשר לסמוך עליו לתסריטי תשתית מורכבים בלי בדיקה מדוקדקת. כמו כן, מודל Codestral הרגיל בגודל 22 מיליארד פרמטרים עדיין מנצח אותו כמעט בכל מדד אפשרי, במיוחד ב־SQL וג'אווה. בנוסף, בגלל הארכיטקטורה השונה, שילוב בכלים קיימים שתומכים רק בטרנספורמרים ידרוש מכם התאמות תוכנה מיוחדות.

שאלות
נפוצות

האם אפשר להריץ אותו בכל ספריית LLM רגילה?

לא מיד. בגלל ארכיטקטורת Mamba2 צריך ספריות ייעודיות כמו mamba-ssm ו־causal-conv1d, או להשתמש ב־vLLM ובכלי ה־CLI של mistral-inference.

איך הוא מתמודד מול Codestral 22B הגדול?

גרסת ה־22B מנצחת אותו בכל פרמטר, במיוחד ב־MBPP וב־Bash. הגרסה הזו מיועדת למי שמוגבל בחומרה וצריך מודל 7B שעובד מהר.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־27.1 גיגה בייט, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון כדי לטעון אותו ישירות, תלוי ברמת הקוונטיזציה. אפשר להריץ אותו דרך ספריית vllm או החבילות הייעודיות של mistral-inference ו־mamba-ssm.

ההתקנה דורשת תלויות ייעודיות ל־Mamba כמו causal-conv1d, מה שלפעמים מסבך את הקימפול המקומי על חלק מהמערכות. אם אתם רק צריכים השלמות קוד מזדמנות בלי תלות בחומרה מקומית חזקה, עדיף לפנות ל־API חיצוני במקום לתחזק שרת ייעודי.

pip install -U huggingface_hub
hf download mistralai/Mamba-Codestral-7B-v0.1

הקבצים

15 קבצים במאגר, 27.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אתם רשאים להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים שלכם ולהפיץ אותו חופשי, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצהירים על שינויים שביצעתם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗