CodeLlama-7B-Python-GGUF

מה זה

מטא לקחה את Llama 2 ואימנה אותה על קוד, כאשר הגרסה הזו עברה אימון ממוקד ספציפית על פייתון. המטרה היא יצירת קוד והשלמת קוד תוך הבנת המבנה והתחביר של השפה, בלי שכבות הצ'אט והבטיחות שמגיעות בגרסאות ה־Instruct. הפורמט ש־TheBloke מספק פה הוא GGUF, שמחליף את GGML הישן ומביא ניהול טוב יותר של מטא־דאטה ותמיכה בטוקנים מיוחדים.

בגודל של שבעה מיליארד פרמטרים הוא שונה ממודלים כלליים בכך שהוא ויתר על רוחב היריעה כדי להיות מדויק יותר בשפה אחת. הוא יודע להשלים פונקציות, לסנתז פתרונות לבעיות מוגדרות ולקרוא קוד קיים, אבל הוא לא מיועד לשיחה חופשית. הכרטיס מציין בפירוש שגרסת הפייתון כוללת יכולת השלמת קוד בלבד, ללא מילוי קטעים חסרים באמצע טקסט וללא התאמת הנחיות לצ'אט.

מתאים ל

• השלמת קוד פייתון מקומית

  הוא אומן במיוחד על פייתון ומספק השלמות מהירות ללא צורך בחיבור לרשת.

• פתרון בעיות תכנות מוגדרות

  מקבל תיאור בעיה ומייצר בלוק קוד מתאים שעונה על הדרישות והבדיקות.

• אינטגרציה לתוך סביבות פיתוח

  פורמט GGUF נתמך בכלי עבודה מקומיים ומאפשר חיבור לספריות כמו ctransformers.

איפה זה נופל

הכרטיס מגדיר בפירוש שהמודל לא תומך ב־Infilling ולא מיועד לממשק של הוראות או צ'אט, אלא להשלמת קוד בלבד. בנוסף, המודל אומן ונבדק באנגלית ובשפות תכנות, כך שאין מה לצפות ממנו להבין שאלות או הערות בעברית. היצרן מודה שפלט המודל עלול להיות שגוי ולא צפוי, ולכן חייבים להריץ בדיקות קוד ומבחני בטיחות לפני שמריצים את מה שהוא פולט.

איך מריצים

את קבצי ה־GGUF מריצים ישירות דרך llama.cpp או ספריות כמו ctransformers ו־llama-cpp-python, שתומכות בהעברת שכבות לכרטיס מסך. המודל זמין בכימותים שנעים בין 2 ביט ל־8 ביט, כאשר קובץ כמו Q4_K_M דורש מעט זיכרון ויכול לרוץ בנוחות על מעבד עם זיכרון RAM רגיל או על כרטיס מסך פשוט עם פריקת שכבות.

אם אתם צריכים רק השלמות קוד פשוטות מקומית בלי תלות ברשת, הרצה כזו על המחשב עובדת נהדר. לעומת זאת, אם המטרה היא לקבל קוד מורכב מפרומפטים ארוכים או לתחזק שירות עם עומס משתמשים גבוה, עדיף להשתמש ב־API מרוחק של מודל ענק במקום לתחזק שרת מקומי חלש.

ollama run hf.co/TheBloke/CodeLlama-7B-Python-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

18 קבצים במאגר, 47.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• codellama-7b-python.Q8_0.gguf7.2 GB
• codellama-7b-python.Q6_K.gguf5.5 GB
• codellama-7b-python.Q5_K_M.gguf4.8 GB
• codellama-7b-python.Q5_0.gguf4.7 GB
• codellama-7b-python.Q5_K_S.gguf4.7 GB
• codellama-7b-python.Q4_K_M.gguf4.1 GB
• codellama-7b-python.Q4_K_S.gguf3.9 GB
• codellama-7b-python.Q4_0.gguf3.8 GB
• codellama-7b-python.Q3_K_L.gguf3.6 GB
• codellama-7b-python.Q3_K_M.gguf3.3 GB
• codellama-7b-python.Q3_K_S.gguf2.9 GB
• codellama-7b-python.Q2_K.gguf2.8 GB
• README.md23.1 KB
• LICENSE.txt7.0 KB
• USE_POLICY.md4.8 KB
• .gitattributes2.3 KB
• Notice112 B
• config.json29 B

הרישיון

הרישיון הוא רישיון llama2 מותאם אישית של מטא. הוא מאפשר שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש המקובל שלהם ולמגבלות רישוי ספציפיות שמפורטות באתר של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗