GPT
הוספת כלי
C

CodeLlama-34b-Instruct-hf

קוד פתוח

codellamallama22023-08-24

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת שיחות והוראות לכתיבת קוד של מטא בגודל 34 מיליארד פרמטרים. היא מתאימה למי שצריך עוזר פיתוח מקומי חזק מספיק בלי לקפוץ למשקלים של מודלי ענק.

  • 34Bפרמטרים
  • 16,384טוקנים בהקשר
  • 126 GBמשקל הקבצים
  • 15,744הורדות בחודש

מה זה

מדובר במודל שפה מבוסס ארכיטקטורת Llama שכוונן לעבודה עם הנחיות ופקודות טקסט ישירות בתחום הפיתוח. הוא יודע לנתח קוד קיים, להשלים בלוקים שלמים, לענות על שאלות טכניות ולנהל שיחה סביב בעיות תכנות, בניגוד לגרסת הבסיס שמיועדת רק להשלמת טקסט עיוורת או גרסת הפייתון הייעודית.

המשקל שלו, כמעט 34 מיליארד פרמטרים על 48 שכבות, ממקם אותו באמצע בין מודלי הצעצוע הקטנים של שבעה מיליארד לבין המפלצות הכבדות. חלון ההקשר עומד על 16,384 טוקנים, כך שאפשר להזין לו קבצי קוד ארוכים למדי או תיעוד רחב בלי לחתוך אותם לחתיכות קטנות.

מתאים ל

  • עוזר שיחה למפתחים

    הוא כוונן ספציפית לעבודה עם פקודות ויכול לענות על שאלות ארכיטקטורה וקוד.

  • ניתוח קבצי קוד ארוכים

    חלון של 16,384 טוקנים מאפשר להזין מודולים שלמים בלי לאבד את ההקשר.

  • השלמת פונקציות וסקריפטים

    הוא מייצר קוד מלא על בסיס תיאור מילולי מדויק שאתם מספקים לו.

איפה זה נופל

המודל אומן בין ינואר ליולי 2023 ומאז הוא סטטי לחלוטין, כך שהוא לא מכיר ספריות, גרסאות שפה או שינויים שקרו אחרי התאריכים האלה. בכרטיס המודל מצוין במפורש שהוא לא תומך ביכולת infilling, כלומר השלמת קוד מתוך הקשר של אמצע קובץ.

בנוסף, הבדיקות והאימונים התמקדו באנגלית בלבד. השימוש בשפות אחרות מוגדר מחוץ לטווח השימוש התקין, והפלט עלול לכלול שגיאות, הזיות בקוד או תשובות לא מדויקות שדורשות בדיקה יסודית לפני שמריצים אותן בסביבת ייצור.

אותה משפחה

CodeLlama יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

CodeLlama-7b-hf263,656 CodeLlama-7b-Instruct-hf49,177 CodeLlama-13b-hf2,350 CodeLlama-13b-Instruct-hf2,205 CodeLlama-34b-hf1,730 CodeLlama-70b-Instruct-hf503 CodeLlama-70b-hf326

שאלות
נפוצות

האם המודל מתאים לעבודה עם עברית?

הכרטיס מגדיר שימוש בשפות שאינן אנגלית כמחוץ לטווח השימוש הרשמי. הוא אומן ונבדק באנגלית ובשפות תכנות, ולכן פקודות בעברית עלולות להניב תוצאות שבורות.

מה ההבדל בינו לבין גרסת הפייתון של אותו גודל?

גרסת הפייתון כווננה לעומק על שפה אחת בלבד ולא עברה את אימוני השיחה והבטיחות. הגרסה הזו מיועדת להבנת מגוון שפות פיתוח ומגיבה ישירות להנחיות טקסטואליות.

האם אפשר להריץ אותו על מחשב פיתוח רגיל?

לא במצבו הגולמי. משקל הקבצים הוא 126 גיגה בייט בדיוק bfloat16, מה שדורש זיכרון ייעודי של כרטיסי מסך ארגוניים ולא חומרת מדף ביתית.

איך מריצים

כדי להריץ אותו כמו שהוא בפורמט bfloat16 תצטרכו להוריד 126 גיגה בייט של קבצים ולהחזיק לפחות שני כרטיסי מסך חזקים כמו A100 או מקבילים עם שפע זיכרון וידאו. ההרצה מתבצעת ישירות דרך ספריית transformers ודורשת גם את חבילת accelerate.

אם אין לכם שרת ייעודי כזה בבית או במשרד, ההרצה העצמאית תהיה יקרה וכבדה מדי. במקרים כאלה עדיף לפנות לגרסאות מכווצות או לקרוא לשרת מרוחק שמגיש את המודל דרך ממשק חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="codellama/CodeLlama-34b-Instruct-hf")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 126 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama2 המסחרי של מטא. הוא מתיר שימוש מחקרי ומסחרי בכפוף לתנאי השימוש ומדיניות השימוש ההוגן של החברה, הדורשים עמידה בכללי בטיחות ומגבלות מסוימות על היקף משתמשים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗