GPT
הוספת כלי
C

CodeLlama-13b-Instruct-hf

קוד פתוח

codellamallama22023-08-24

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת הוראות של מודל קוד בינוני מבית מטא. מתאים למי שרוצה עוזר פיתוח מקומי שיודע לעקוב אחרי הנחיות ולספק תשובות ישירות, בלי להעביר קוד פנימי לשרתים חיצוניים.

  • 13Bפרמטרים
  • 16,384טוקנים בהקשר
  • 48.8 GBמשקל הקבצים
  • 2,205הורדות בחודש

מה זה

מדובר במודל שפה של 13 מיליארד פרמטרים ממשפחת קוד לאמה, שעבר כוונון ייעודי למעקב אחר הוראות ושיחה. המטרה שלו היא לא רק להשלים שורות חסרות, אלא לקבל פקודות מפורשות כמו בקשת כתיבת פונקציה, הסבר של קטע קוד קיים או מילוי מקטעים חסרים בתוך בלוק קיים.

בניגוד לגרסת הפייתון הייעודית של הסדרה, הגרסה הזו מיועדת לעבודה עם מגוון שפות תכנות וכוללת שכבת בטיחות וכוונון עדין שמקלים על הפעלה כעוזר אישי. חלון ההקשר עומד על 16,384 טוקנים, מה שמאפשר לו לקרוא קבצים ארוכים למדי בלי לאבד את ההקשר של הפרויקט.

מתאים ל

  • עוזר קידוד מקומי

    מענה לפקודות ישירות וכתיבת פונקציות מלאות בלי לחשוף קוד לאינטרנט.

  • השלמת קוד והזרקה

    יכולת infilling שמאפשרת למודל למלא קטעים חסרים באמצע קובץ קיים.

  • הסבר ובדיקת קטעי קוד

    ניתוח לוגיקה והסבר באנגלית של מקטעים מורכבים במגוון שפות.

איפה זה נופל

המודל אומן ונבדק באנגלית בלבד. התיעוד מציין במפורש ששימוש בשפות אחרות חורג מהיעדים שהוגדרו לו, ולכן עבודה בעברית תהיה בעייתית מאוד ולא אמינה. מעבר לזה, המודל סטטי לחלוטין ומבוסס על מידע שנאסף עד יולי 2023, כך שהוא לא מכיר ספריות וגרסאות שיצאו מאז. הכרטיס מזהיר מראש מפני תשובות שגויות או לא מדויקות, ולכן חובה לבדוק כל קוד לפני הרצה בסביבת ייצור.

אותה משפחה

CodeLlama יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

CodeLlama-7b-hf263,656 CodeLlama-7b-Instruct-hf49,177 CodeLlama-34b-Instruct-hf15,744 CodeLlama-13b-hf2,350 CodeLlama-34b-hf1,730 CodeLlama-70b-Instruct-hf503 CodeLlama-70b-hf326

שאלות
נפוצות

האם המודל תומך בעבודה בעברית?

התיעוד מגדיר שימוש בשפות שאינן אנגלית כשימוש מחוץ לתחום המיועד. המודל עלול לייצר פלט משובש לחלוטין אם תפנו אליו בעברית, ולכן צריך לעבוד איתו באנגלית בלבד.

מה ההבדל בין גרסה זו לגרסת ה־Python?

גרסת הפייתון אומנה במיוחד על שפה זו בלבד. גרסת ה־Instruct מיועדת לעבודה עם שפות תכנות שונות ומכווננת לענות לפקודות בפורמט שיחה בצורה בטוחה יותר.

האם מדובר במאגר הרשמי של מטא?

לא. מדובר בהפצה לא רשמית של המשקלים בפורמט Hugging Face Transformers. התיעוד מפנה למאגר הרשמי של meta-llama במידת הצורך.

איך מריצים

כדי להריץ אותו צריך ספריית transformers עם accelerate. הקבצים שוקלים 48.8 גיגה בייט בפורמט bfloat16 על פני 18 קבצים שונים, כך שאי אפשר להריץ אותו על מחשב נייד סטנדרטי בלי קוונטיזציה כבדה. תצטרכו כרטיס מסך ייעודי עם מספיק זיכרון וידאו כדי לטעון אותו לזיכרון.

אם אין לכם חומרה ייעודית מקומית, עדיף להשתמש במודלים דרך שירות ענן או API מאשר לנסות להחזיק תשתית כבדה כזו רק בשביל כמה שאילתות ביום.

from transformers import pipeline

pipe = pipeline("text-generation", model="codellama/CodeLlama-13b-Instruct-hf")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 48.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama2 מותאם אישית של מטא. הוא מאפשר שימוש מסחרי ומחקרי, אבל כפוף להסכם השימוש המקורי של החברה ולמדיניות השימוש המקובלת שלה, שכוללת מגבלות ספציפיות על היקף משתמשים וסוגי יישומים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗