GPT
הוספת כלי
W

WizardCoder-33B-V1.1

קוד פתוח

WizardLMTeamרישיון לא דווח2024-01-04

  • transformers
  • safetensors
  • llama
  • text-generation
  • code

גרסה מכווננת קוד שמבוססת על בסיס של 33 מיליארד פרמטרים. היא מיועדת למי שרוצה ביצועי פיתוח גבוהים מקומית בלי לפנות לשרתים חיצוניים.

  • 33Bפרמטרים
  • 16,384טוקנים בהקשר
  • 62.1 GBמשקל הקבצים
  • 100הורדות בחודש

מה זה

המודל הזה אומן על בסיס deepseek-coder-33b-base תוך שימוש בשיטת Evol-Instruct על נתוני CodeAlpaca. המטרה שלו היא יצירת קוד והבנת הנחיות תכנות מורכבות, והוא נשען על ארכיטקטורת Llama עם 62 שכבות וחלון הקשר של 16,384 טוקנים.

במדדי ההשוואה של HumanEval הוא מציג תוצאה של 79.9 ב־pass@1 ו־73.2 בגרסת Plus המחמירה, לצד 78.9 ב־MBPP. בפועל, המספרים האלה מציבים אותו ברמה שעוקפת את התוצאות של GPT-3.5 ושל Gemini Pro במבחנים האלה, ומראים שהוא מייצר פתרונות תקינים תחבירית ולוגית כבר בניסיון הראשון ברוב המשימות המוגדרות היטב.

מתאים ל

  • השלמת פונקציות ואלגוריתמים

    מייצר קוד מדויק למשימות מוגדרות ועוקף מודלים קנייניים ותיקים במבחני סינתזת קוד.

  • ייצור בדיקות יחידה

    מנצל חלון של 16,384 טוקנים לקריאת הקשר רחב וכתיבת מקרי קצה ובדיקות.

  • סביבות פיתוח מבודדות

    מתאים לחברות שדורשות שכל הקוד יישאר על שרתים פנימיים בלי לשלוח נתונים החוצה.

איפה זה נופל

היוצרים מציינים במפורש שהם אינם מבטיחים את הדיוק של גרסאות מכומתות, מה שמגביל את היכולת לחתוך את צריכת הזיכרון בלי לפגוע בתוצאות. בנוסף, המודל רגיש מאוד למבנה הקלט, וחובה להשתמש בתבנית ההנחיה המדויקת שלו כדי לקבל את הביצועים המדווחים. מחוץ לפתרון בעיות אלגוריתמיות נקודתיות דוגמת אלו שבמבחנים, עדיין נדרשת בדיקה ידנית מעמיקה של הקוד שהוא פולט.

אותה משפחה

WizardCoder יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

WizardCoder-15B-V1.0587

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב נייד חזק?

לא. משקל הקבצים עומד על 62.1 גיגה בפורמט bfloat16, מה שדורש מעבד גרפי מקצועי עם זיכרון ייעודי גדול. הרצה על חומרה צרכנית רגילה תדרוש כימות אגרסיבי, שלפי צוות הפיתוח פוגע באמינות המודל.

מה הדרך הנכונה לפנות למודל כדי לקבל תוצאות טובות?

היוצרים דורשים להשתמש במבנה פרומפט קבוע שמתחיל בהוראה כללית, אחריה תגית ההנחיה ותגית התשובה. סטייה מהפורמט הזה עלולה להוריד משמעותית את איכות הקוד שנוצר בהשוואה לתוצאות המקוריות.

איך מריצים

כדי להריץ 33 מיליארד פרמטרים בדיוק המקורי של bfloat16 תצטרכו לפחות 70 עד 80 גיגה של זיכרון וידאו, מה שדורש בדרך כלל מערך של כמה כרטיסים גרפיים או מאיץ A100 יחיד. כרטיס המודל מדגים פריסה עם vLLM על ארבעה מעבדים גרפיים במקביל כדי לקבל זמני תגובה סבירים.

אם אין לכם שרת ייעודי בענן או חומרה מקומית חזקה מאוד, העלות התפעולית וההקמה לא מצדיקות את ההרצה העצמאית. במצב כזה עדיף לצרוך מודל קוד דרך ספק צד שלישי או לשקול כימות של המשקלים, אף שהיוצרים מסתייגים מכך.

from transformers import pipeline

pipe = pipeline("text-generation", model="WizardLMTeam/WizardCoder-33B-V1.1")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 62.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

במטאדטה של המודל לא דווח רישיון רשמי, אף שבטבלת ההשוואה יש הפניה לרישיון מחקר של מיקרוסופט. חוסר הבהירות הזה אומר שאי אפשר להניח שמותר להשתמש בו במוצר מסחרי, וכל שילוב שלו במערכת ייצור דורש בירור משפטי מול המפרסמים.

הרישיון המלא בעמוד המודל ↗