WizardCoder-33B-V1.1-GGUF

קוד פתוח

TheBlokeרישיון לא דווח2024-01-04

transformers
gguf
deepseek
code
model-index

גרסה מכווצת של מודל קוד גדול שמיועדת להרצה מקומית. הוא פונה למי שרוצה ביצועים קרובים לכלים מסחריים בלי להוציא שורת קוד אחת מהרשת הפנימית.

235 GBמשקל הקבצים
2,200הורדות בחודש
45לייקים

מה זה

מדובר בהסבה של המודל המקורי מבית WizardLM לפורמט GGUF, תהליך שביצע TheBloke כדי לאפשר טעינה שלו דרך מעבדים וכרטיסים גרפיים ביתיים. הבסיס שעליו הוא אומן הוא deepseek-coder-33b-base, בשילוב שיטת Evol-Instruct ליצירת הוראות קוד מורכבות. המטרה כאן היא כתיבת פונקציות, השלמת קטעי קוד ופתרון בעיות תכנות ישירות מתוך סביבת הפיתוח.

במדדי HumanEval המודל מציג ציון של 79.9 ב־pass@1, ובגרסה המחמירה יותר של HumanEval-Plus הוא מגיע ל־73.2. במבחני MBPP הוא רושם 78.9. המספרים האלה מציבים אותו מעל גרסאות כמו DeepSeek-Coder-33B-instruct ומתחרים מסחריים מסוימים באותה תקופה, מה שאומר שהוא מסוגל לייצר קוד תקין בניסיון ראשון באחוז גבוה של מקרים מוגדרים היטב.

מתאים ל

שרת השלמת קוד מקומי
חיבור ישיר לסביבת הפיתוח בתוך רשת סגורה, ללא שליחת קוד קנייני לשרתים חיצוניים.
ייצור בדיקות יחידה לפונקציות
הזנת קטעי לוגיקה קיימים וקבלת טסטים מקיפים בהתבסס על ההבנה החזקה שלו במבנה פייתון.
תרגום קוד בין שפות
המרת אלגוריתמים משפה אחת לאחרת על בסיס הידע הרחב שנצבר באימון על מאגרי קוד פתוח.

איפה זה נופל

הגרסאות המכווצות ביותר כמו Q2_K או Q3 מאבדות דיוק בצורה ניכרת, ובכתיבת קוד כל תו שגוי מפיל ריצה. בנוסף, המודל דורש תבנית פנייה קשיחה של Alpaca, ואם תשכחו לשלוח את ההוראות במבנה המדויק התוצאות ייפגעו מיד. הוא אומן על משימות תכנות נקודתיות, כך שהוא פחות מתאים לניהול שיחה חופשית או להבנת ארכיטקטורה של פרויקטים שלמים.

שאלות
נפוצות

איזה קובץ מהרשימה כדאי להוריד?

עבור רוב השימושים הקובץ המתאים הוא Q4_K_M. הוא מספק פשרה נכונה בין צריכת משאבים של כעשרים ג'יגה בייט לבין שמירה על איכות הקוד של המודל המקורי.

האם המודל תומך בעבודה שוטפת בעברית?

לא מומלץ לבנות עליו בעברית. המודל אומן בעיקר על קוד באנגלית, ותיעוד או הערות בעברית עלולים להוביל לשגיאות הבנה או לפלט משובש.

איך מריצים

בשביל להריץ אותו בצורה שמישה צריך חומרה רצינית. הגרסה המאוזנת ביותר, Q4_K_M, שוקלת 19.94 ג'יגה בייט ודורשת לפחות 22.44 ג'יגה בייט של זיכרון עבודה כדי לעלות בלי קריסה, לפני שלוקחים בחשבון את חלון ההקשר. כדי לקבל מהירות כתיבה סבירה מומלץ כרטיס מסך עם 24 ג'יגה בייט VRAM שיכול להחזיק את רוב השכבות.

אם יש לכם פחות מ־16 ג'יגה בייט זיכרון פנוי, אין טעם לנסות להריץ אותו מקומית. במצב כזה עדיף לשלם לפי שימוש לספק שמחזיק את המודל פתוח בשרת משלו.

ollama run hf.co/TheBloke/WizardCoder-33B-V1.1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_035.4 GB Q6_K27.4 GB Q5_K_M23.5 GB Q5_023.0 GB Q5_K_S23.0 GB Q4_K_M19.9 GB Q4_K_S18.9 GB Q4_018.8 GB Q3_K_L17.6 GB Q3_K_M16.1 GB Q3_K_S14.4 GB Q2_K14.0 GB

הקבצים

15 קבצים במאגר, 235 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בעמוד המודל הנוכחי לא דווח רישיון באופן מפורש, אף על פי שבטבלה המקורית מופיע אזכור לרישיון מחקרי של מיקרוסופט. המצב הזה יוצר חוסר ודאות משפטי. ארגונים שרוצים לשלב אותו במוצר מסחרי צריכים לבדוק היטב את תנאי המקור ולא להניח שהקוד חופשי לכל שימוש.

הרישיון המלא בעמוד המודל ↗