GPT
הוספת כלי
C

CodeLlama-7b-hf

קוד פתוח

codellamallama22023-08-24

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת בסיס שמיועדת להשלמת קוד והשלמת קטעים חסרים באמצע קובץ. היא מתאימה למי שרוצה לאמן מודל משלו או לשלב מנוע השלמה מקומי שלא דורש כרטיסי מסך מפלצתיים.

  • 6.7Bפרמטרים
  • 16,384טוקנים בהקשר
  • 25.1 GBמשקל הקבצים
  • 263,656הורדות בחודש

מה זה

מדובר במודל בסיס של מטא עם 6.7 מיליארד פרמטרים, שמיועד ליצירה ולהבנה של קוד ומקבל חלון הקשר של 16,384 טוקנים. הוא אומן בין ינואר ליולי 2023 על תשתית של Llama 2, והיכולות המרכזיות שלו הן השלמת קוד סטנדרטית והשלמת טקסט באמצע קוד קיים, מה שנקרא infilling.

בניגוד לגרסאות ה־Instruct או לגרסאות הייעודיות לפייתון, כאן אין כוונון להוראות טקסטואליות או שיחה. המודל פשוט מקבל קוד וממשיך אותו הלאה, מה שהופך אותו לקרקע טובה לאימון נוסף או למנועי השלמה אוטומטית בעורכי קוד, אך פחות לעוזר פיתוח שמדברים איתו באנגלית או בעברית.

מתאים ל

  • השלמת קוד בעורך

    תומך ביכולת מובנית של השלמת קטעים באמצע קובץ ולא רק בסופו.

  • בסיס לאימון פנימי

    משמש נקודת מוצא להתאמה על בסיס קוד ארגוני פרטי.

  • סינתזת פונקציות

    מייצר מימושים מתוך חתימות קוד והגדרות פונקציה ראשוניות.

איפה זה נופל

המודל הזה לא נועד לענות להוראות או לנהל שיחה, והוא לא כולל את התאמות הבטיחות וההנחיות שיש בגרסת ה־Instruct. אם תכתבו לו בקשה מילולית, הוא עלול פשוט להמשיך אותה כטקסט במקום לבצע.

בנוסף, הכרטיס מציין שהבדיקות נעשו באנגלית בלבד, ושימוש בשפות אחרות מוגדר מחוץ לטווח השימוש המיועד, כך שאין מה לבנות עליו בעברית. המודל עלול לייצר קוד שגוי או לא בטוח, ומחייב בדיקות קפדניות לפני שמשלבים את התוצרים שלו בסביבת ייצור.

אותה משפחה

CodeLlama יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

CodeLlama-7b-Instruct-hf49,177 CodeLlama-34b-Instruct-hf15,744 CodeLlama-13b-hf2,350 CodeLlama-13b-Instruct-hf2,205 CodeLlama-34b-hf1,730 CodeLlama-70b-Instruct-hf503 CodeLlama-70b-hf326

שאלות
נפוצות

האם המודל הזה מתאים לשימוש בתור בוט שיחה למפתחים?

לא. מדובר במודל בסיס שלא עבר אימון להוראות. אם אתם צריכים עוזר בסגנון צ'אט שעונה על שאלות תכנות, אתם צריכים לחפש את גרסת ה־Instruct.

האם מותר להשתמש בו במוצר מסחרי?

כן, רישיון llama2 מתיר שימוש מסחרי, כל עוד עומדים בתנאי השימוש ובמדיניות של מטא שמצורפים לרישיון.

באיזה מאגר כדאי להשתמש, בזה או במאגר הרשמי של מטא?

המאגר הזה הוא העלאה לא רשמית של קובצי המודל לפורמט transformers. לשימוש רשמי ומעודכן עדיף לפנות למאגר שנמצא תחת הארגון של Meta Llama בהאגינג פייס.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־25.1 גיגה בייט בדיוק bfloat16, כך שכדי לטעון אותו כמו שהוא צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון וידאו. מריצים אותו ישירות דרך ספריית transformers ו־accelerate של פייתון בפייפליין של text-generation.

אם אין לכם חומרה ייעודית בענן או מקומית, עדיף להשתמש ב־API מנוהל שמחזיק את המודל או לעבור לגרסת Instruct אם המטרה היא צ'אט ולא רק השלמת שורות.

from transformers import pipeline

pipe = pipeline("text-generation", model="codellama/CodeLlama-7b-hf")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 25.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama2 המסחרי של מטא. הוא מאפשר שימוש מחקרי ומסחרי, אבל כפוף להסכם הרישיון ומדיניות השימוש המקובלת שלהם, שמגבילה פעילות לא חוקית ומחייבת אישור מיוחד לחברות עם מאות מיליוני משתמשים פעילים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗