CodeLlama-7B-Instruct-GGUF

מה זה

מטא אימנה את המודל הזה על בסיס Llama 2 בין ינואר ליולי 2023, כשההתמקדות היא כתיבה והבנה של קוד. TheBloke לקח את המשקולות המקוריות והמיר אותן לפורמט GGUF, מה שמוריד את דרישות הזיכרון ומאפשר ריצה ישירה על המעבד בלי כרטיס גרפי כבד. גרסת ה־Instruct כוונה במיוחד לעבודה בשיחה ולהבנת הוראות מפורטות, בניגוד לגרסת הבסיס שמיועדת בעיקר להשלמת שורות.

בגודל של 7 מיליארד פרמטרים הוא פונה למי שרוצה מודל ממוקד קוד שלא זולל משאבים. הוא לא מתמחה בשפה אחת כמו גרסת הפייתון הייעודית של מטא, אלא מכוון לתמיכה כללית במגוון שפות פיתוח ופתרון באגים לפי הנחיות טקסט.

מתאים ל

• השלמת קוד מקומית

  רץ ישירות על המחשב ללא תלות ברשת, מתאים לעבודה בסביבות פיתוח מבודדות.

• תיקון שגיאות והסבר באגים

  גרסת ה־Instruct מקבלת קטע קוד והוראה מילולית באנגלית ומציעה תיקון מתאים.

• בניית כלי עזר פנימיים

  משתלב ביישומי פייתון עם ספריות קלות משקל בלי לחייב חוות שרתים ייעודית.

איפה זה נופל

המודל הזה נתחם מראש לשפה האנגלית, והכרטיס מגדיר שימוש בכל שפה אחרת כשימוש שחורג מהיעדים שלו. זה אומר שלא כדאי לבנות עליו להבנת הנחיות בעברית או לכתיבת תיעוד מקומי. מעבר לזה, גודל של 7B מציב תקרה ליכולת הלוגית, והוא עלול לייצר פתרונות שגויים בקוד מורכב בלי להתריע על כך.

אותה משפחה

CodeLlama יצא ב־12 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

איך מריצים

מורידים קובץ בודד מתוך 18 הקבצים הזמינים במאגר לפי רמת הדחיסה הרצויה, למשל codellama-7b-instruct.q4_K_M.gguf. להרצה משתמשים ב־llama.cpp דרך שורת הפקודה, או בספריות כמו llama-cpp-python ו־ctransformers אם אתם עובדים מתוך קוד פייתון. ממשקים גרפיים כמו LM Studio או text-generation-webui נתמכים ישירות.

היתרון הגדול כאן הוא האפשרות לרוץ על מעבד רגיל ומעט זיכרון RAM, עם אפשרות לזרוק חלק מהשכבות לכרטיס מסך כדי להאיץ את התגובה. אם אין לכם סבלנות להורדת קבצים והתעסקות בהגדרות מקומיות, API מנוהל של מודל ענן יהיה מהיר יותר להקמה.

ollama run hf.co/TheBloke/CodeLlama-7B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

18 קבצים במאגר, 47.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• codellama-7b-instruct.Q8_0.gguf7.2 GB
• codellama-7b-instruct.Q6_K.gguf5.5 GB
• codellama-7b-instruct.Q5_K_M.gguf4.8 GB
• codellama-7b-instruct.Q5_0.gguf4.7 GB
• codellama-7b-instruct.Q5_K_S.gguf4.7 GB
• codellama-7b-instruct.Q4_K_M.gguf4.1 GB
• codellama-7b-instruct.Q4_K_S.gguf3.9 GB
• codellama-7b-instruct.Q4_0.gguf3.8 GB
• codellama-7b-instruct.Q3_K_L.gguf3.6 GB
• codellama-7b-instruct.Q3_K_M.gguf3.3 GB
• codellama-7b-instruct.Q3_K_S.gguf2.9 GB
• codellama-7b-instruct.Q2_K.gguf2.8 GB
• README.md23.2 KB
• LICENSE.txt7.0 KB
• USE_POLICY.md4.8 KB
• .gitattributes2.3 KB
• Notice112 B
• config.json29 B

הרישיון

הרישיון הוא רישיון llama2 המותאם של מטא. הוא מתיר שימוש מסחרי ומחקרי, אבל דורש עמידה במדיניות השימוש ההוגן שלהם ומגביל שימושים שאינם באנגלית. קריאת תנאי הרישיון המלאים באתר של מטא הכרחית לפני הפצה במוצר מסחרי.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗