GPT
הוספת כלי
C

CodeLlama-70b-hf

קוד פתוח

codellamallama22024-01-29

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת הבסיס הענקית של מטא לקוד מציעה 69 מיליארד פרמטרים להשלמת תוכנה. היא מיועדת למי שרוצה בסיס כבד לאימון עצמי ולא עוד צ'אט שמחזיר תשובות מהירות.

  • 69Bפרמטרים
  • 16,384טוקנים בהקשר
  • 257 GBמשקל הקבצים
  • 326הורדות בחודש

מה זה

מדובר במודל שפת קוד בסיסי לחלוטין בארכיטקטורת LlamaForCausalLM עם 80 שכבות, שנועד לייצור והבנה של תחביר תכנותי. הוא מאומן להשלים טקסט וקוד, אך בניגוד לגרסת Instruct, הוא אינו מכוונן לשיחה עם בני אדם ולא יודע לענות לשאלות ישירות. בכרטיס המודל מסומן במפורש שהוא תומך בהשלמת קוד בלבד, ללא יכולות מילוי אמצע, ללא התמחות בלעדית בפייתון וללא התאמה להוראות.

המשקל שלו מציב אותו בקצה העליון של מודלי קוד פתוח ממשפחת Llama 2, כאשר האימון שלו הסתיים בינואר 2024. חלון ההקשר עומד על 16,384 טוקנים באימון עם תמיכה בהרחבה בזמן ריצה, מה שמאפשר לו לקרוא קבצים ארוכים יחסית של קוד מקור. ההבדל בינו לבין הגרסאות הקטנות יותר הוא בעיקר נפח הזיכרון והיכולת להכיל מבנים מורכבים יותר, אך הוא דורש שתדעו איך לבנות סביבו את הפרומפט הנכון כדי לקבל תוצאה שאינה סתם שרשור טקסט אינסופי.

מתאים ל

  • בסיס לאימון על קוד ארגוני

    הוא מציע ארכיטקטורה רחבה של 69 מיליארד פרמטרים שמתאימה לכוונון עדין על מאגרי תוכנה פנימיים.

  • השלמת קוד במערכות פיתוח

    הוא תומך בהשלמת רצפי קוד ארוכים בזכות חלון הקשר של 16,384 טוקנים.

  • מחקר על מודלי שפה לקוד

    מדובר במודל גולמי שלא עבר סינון שיחה, מה שמאפשר לבחון יכולות ייצור קוד טהורות.

איפה זה נופל

זהו מודל בסיס סטטי, והוא לא עבר התאמה לשיחה, מה שאומר שהוא ימשיך את הקוד שלכם במקום לענות עליו. הוא לא תומך ביכולת מילוי אמצע, כך שאי אפשר להשתמש בו ישירות להשלמת קוד בתוך פונקציה קיימת. המפתחים מציינים שהבדיקות נעשו באנגלית בלבד, ואי אפשר לחזות מראש את הפלטים, שעלולים להיות שגויים או לא בטוחים לשימוש ישיר.

אותה משפחה

CodeLlama יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

CodeLlama-7b-hf263,656 CodeLlama-7b-Instruct-hf49,177 CodeLlama-34b-Instruct-hf15,744 CodeLlama-13b-hf2,350 CodeLlama-13b-Instruct-hf2,205 CodeLlama-34b-hf1,730 CodeLlama-70b-Instruct-hf503

שאלות
נפוצות

האם אפשר להשתמש בו כמו ב־ChatGPT כדי למצוא באגים?

לא, זהו מודל בסיס שלא עבר אימון הוראות ומחזיר רק המשך ישיר לטקסט. בשביל שיחה ומענה על שאלות צריך לבחור בגרסת Instruct של המודל.

האם המודל הזה מתאים לעבודה עם עברית?

לא כדאי לבנות על זה. המפתחים מציינים במפורש שהבדיקות בוצעו באנגלית ובשפות תכנות בלבד, וכל שימוש בשפה אחרת אינו נתמך רשמית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־257 גיגה בייט בפורמט bfloat16, כך שלהריץ אותו מקומית דורש מערך שרתים רציני עם כמה מאיצי A100 או H100. כדי לטעון אותו בספריית transformers תצטרכו את חבילת accelerate וחלוקה על פני כרטיסים גרפיים מרובים.

אם אתם לא מתכננים לעשות לו התאמה אישית או אימון המשך על מאגר קוד פרטי, אין שום הגיון כלכלי להחזיק תשתית כזו בעצמכם. במצב כזה עדיף לצרוך מודלים בגודל דומה דרך ממשקי ענן מוכנים, שחוסכים את ההתעסקות באחסון של מאות גיגה בייטים ובחלוקת הזיכרון בין הכרטיסים.

from transformers import pipeline

pipe = pipeline("text-generation", model="codellama/CodeLlama-70b-hf")
print(pipe("שלום"))

הקבצים

68 קבצים במאגר, 257 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama2 המותאם של מטא. הוא מאפשר שימוש מסחרי ומחקרי באנגלית ובשפות תכנות, אך כפוף למדיניות השימוש ההוגן ולהגבלות הרישיון המקוריות של מטא.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗