GPT
הוספת כלי
C

CodeLlama-70b-Python-hf

קוד פתוח

codellamallama22024-01-29

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסה ענקית של מודל קוד שהותאמה במיוחד לפייתון, מיועדת להשלמת קוד מורכב ומגיעה ללא שכבת שיחה. מתאימה למי שחייב מודל פתוח וממוקד בשפה הזו.

  • 69Bפרמטרים
  • 4,096טוקנים בהקשר
  • 257 GBמשקל הקבצים
  • 182הורדות בחודש

מה זה

מדובר במודל של כמעט 69 מיליארד פרמטרים מבית מטא שהוכשר על קוד, כשהגרסה הזו עברה כוונון ייעודי סביב פייתון בלבד. בשונה מגרסאות הבסיס הכלליות או גרסת ההוראות, כאן אין כיוונון לשיחה או לצ'אט, והוא מתרכז אך ורק בהבנה ויצירה של קוד פייתון.

המשמעות של גרסת הפייתון היא שהמודל ראה כמות עצומה של תחביר וספריות מהאקוסיסטם הזה במהלך האימון שהסתיים בינואר 2024. הוא נועד למשימות השלמת קוד ברצף ולא לניהול דיאלוג, כך שאם אתם מחפשים עוזר פיתוח שמסביר מה הוא עושה, זו לא הגרסה המתאימה מתוך הסדרה.

מתאים ל

  • השלמת קוד פייתון מורכב

    משלים קטעי קוד ארוכים בפייתון כשהוא נשען על 69 מיליארד פרמטרים שאומנו על השפה.

  • סינתזת קוד בארגונים סגורים

    מאפשר לייצר קוד בלי להוציא מידע לרשת, בתנאי שיש לכם את שרתי הענק הנדרשים.

  • בסיס לאימון נוסף

    משמש כנקודת מוצא מעולה לכוונון עדין על מאגרי פייתון פנימיים של חברות.

איפה זה נופל

המודל מגיע עם מגבלה קריטית בהקשר, הוא אינו תומך בחלון הארוך של עד 100 אלף טוקנים שקיים בחלק מגרסאות הסדרה. בנוסף, הכרטיס מציין במפורש שהוא לא תומך במילוי קוד באמצע (infilling) ולא במעקב אחרי הוראות או צ'אט. המודל עלול לייצר פלטים שגויים, והוא הוגדר ונבדק באנגלית בלבד, כך שאינו מיועד לשפות אחרות.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה כמו בקוֹפַּיְלוֹט ולבקש ממנו דברים בצ'אט?

לא, המודל הזה אינו גרסת Instruct ואין לו תמיכה מובנית בשיחה או בהוראות. הוא נועד למשימות השלמת טקסט וקוד ישירות, ואם אתם צריכים צ'אט עדיף לבחור בגרסת ה־Instruct של הסדרה.

למה שהמודל יתפוס 257 גיגה בייטים של דיסק?

הוא מכיל כמעט 69 מיליארד פרמטרים ונשמר בדיוק של bfloat16 על פני 68 קבצים שונים. הגודל הזה דורש נפח אחסון עצום ותשתית זיכרון רחבה מאוד בכרטיסי המסך כדי לטעון אותו.

האם המודל תומך בהקשר ארוך של פרויקט שלם?

לא, הכרטיס מציין במפורש שהגרסה הזו אינה תומכת בהקשר של 100 אלף טוקנים שקיים בחלק מדגמי הסדרה. חלון ההקשר שלו מוגבל, ולכן אי אפשר להזין לו קבצים ענקיים או מאגר שלם בבת אחת.

איך מריצים

בשביל להריץ אותו מקומית צריך מפלצת של חומרה. המשקל הכולל של הקבצים עומד על 257 גיגה בייטים בפורמט של bfloat16, כך שתצטרכו מערך של כמה כרטיסי מסך חזקים כמו A100 כדי להעלות אותו לזיכרון לפני שבכלל שולחים טוקן ראשון. ההרצה עצמה נעשית בעזרת transformers וספריית accelerate.

בפועל, עבור רוב המפתחים והצוותים הקטנים אין היגיון כלכלי להחזיק שרתים ייעודיים לגודל כזה. שווה להחזיק אותו עצמאית רק אם אתם מפתחים מוצר עם דרישות פרטיות קיצוניות שמונעות שליחת קוד החוצה, ואחרת פשוט עדיף לצרוך מודלים דרך ספקי API חיצוניים.

from transformers import pipeline

pipe = pipeline("text-generation", model="codellama/CodeLlama-70b-Python-hf")
print(pipe("שלום"))

הקבצים

68 קבצים במאגר, 257 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama2 של מטא, שמאפשר שימוש מחקרי ומסחרי בכפוף למדיניות השימוש המקובל שלהם. השימוש חופשי לרוב החברות, אך הוא כולל תנאים ומגבלות ספציפיים שמופיעים בהסכם של מטא שצריך לאשר לפני ההורדה.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗