GPT
הוספת כלי
C

CodeLlama-13b-hf

קוד פתוח

codellamallama22023-08-24

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

מודל בסיס ייעודי לקוד עם 13 מיליארד פרמטרים וחלון הקשר רחב של 16,384 טוקנים. הוא מתאים להשלמת קוד והשלמת קטעים חסרים באמצע קובץ, למי שרוצה בסיס לאימון עצמי.

  • 13Bפרמטרים
  • 16,384טוקנים בהקשר
  • 48.8 GBמשקל הקבצים
  • 2,350הורדות בחודש

מה זה

מטא אימנה את המשפחה הזו על בסיס נתוני Llama 2 בין ינואר ליולי 2023, כשהדגם הזה יושב באמצע סקאלת הגדלים שלהם. הוא מייצר ומבין קוד בלבד, ותומך ביכולות מוגדרות מראש של השלמת קוד ושל השלמת חסרים בתוך קוד קיים.

גרסת הבסיס הזו לא מיועדת לשיחה חופשית ולא עברה כוונון מיוחד לפייתון או להוראות. היא מספקת שלד נקי של 40 שכבות בדיוק bfloat16, שמיועד בעיקר למי שרוצה לאמן אותו הלאה על בסיס קוד פנימי או לשלב אותו במערכות השלמה אוטומטית בעורך הקוד.

מתאים ל

  • השלמת קוד בעורך

    מנוע להשלמה אוטומטית בזמן אמת, כולל תמיכה ביכולת מילוי קטעים חסרים באמצע בלוק קוד קיים.

  • בסיס לכוונון פנימי

    שלד גולמי של 13 מיליארד פרמטרים שמתאים לאימון נוסף על מאגרי קוד פרטיים בארגון.

  • ניתוח קבצים גדולים

    חלון הקשר של 16,384 טוקנים מתאים להזנה של קבצי מקור שלמים לבדיקה ותחזוקה.

איפה זה נופל

זהו מודל בסיס סטטי שלא יודע לעקוב אחרי שיחה, ולא מבין שאלות טבעיות בצורה מובנית. הכרטיס מבהיר שהבדיקות נעשו באנגלית בלבד, ושימוש בשפות אחרות כמו עברית הוא מחוץ לטווח השימוש שהוגדר. בנוסף, המודל עלול לייצר פלט שגוי או לא בטוח, והוא דורש בדיקות בטיחות וכוונון שלכם לפני שמעלים אותו לשירות פעיל.

אותה משפחה

CodeLlama יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

CodeLlama-7b-hf263,656 CodeLlama-7b-Instruct-hf49,177 CodeLlama-34b-Instruct-hf15,744 CodeLlama-13b-Instruct-hf2,205 CodeLlama-34b-hf1,730 CodeLlama-70b-Instruct-hf503 CodeLlama-70b-hf326

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כעוזר תכנות בצ'אט?

לא. זהו מודל בסיס שנועד להשלמת טקסט וקוד בלבד, והוא לא עבר התאמה לשיחה. אם אתם רוצים צ'אט שעונה להוראות, חפשו את גרסת ה־Instruct של אותו מודל.

האם יש הבדל בינו לבין המאגר הרשמי של מטא?

המשקלים והארכיטקטורה זהים, אבל מדובר בריפו לא רשמי של הקהילה. אם אתם צריכים תאימות מלאה ומעקב רשמי אחר תנאי הרישוי, עדיף למשוך מהמאגר של meta-llama.

איך מריצים

כדי להריץ אותו דרך ספריית transformers עם accelerate תצטרכו זיכרון וידאו שמחזיק משקל קבצים של 48.8 גיגה בייט בדיוק המקורי, או לחלופין כרטיס עם לפחות 24 עד 32 גיגה בייט זיכרון לאחר המרה לדיוק נמוך יותר. כרטיס בודד ברמה ביתית רגילה פשוט ייחנק מזה.

אם אתם צריכים עוזר שיחה שמגיב להנחיות ולא השלמת טקסט עיוורת, הגרסה הזו מיותרת. במקרה כזה עדיף לקחת ישירות את גרסת ה־Instruct, או לחבר שירות ענן חיצוני במקום לתחזק שרת ייעודי כבד לתשתיות מקומיות.

from transformers import pipeline

pipe = pipeline("text-generation", model="codellama/CodeLlama-13b-hf")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 48.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama2 המותאם של מטא, שמאפשר שימוש מחקרי ומסחרי בכפוף לתנאי השימוש ומדיניות השימוש ההוגן שלהם. שימו לב שהריפו הזה הוא העלאה לא רשמית, והרישיון המקורי עדיין מחייב הורדה ואישור דרך מטא.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗