GPT
הוספת כלי
O

opencoderplus

קוד פתוח

openchatרישיון לא דווח2023-06-30

  • transformers
  • pytorch
  • gpt_bigcode
  • text-generation
  • llama

התאמה של סטארקודרפלוס לשיחות קוד עם חלון של 8,192 טוקנים. הוא פונה למי שמחפש סוכן פיתוח מקומי שאומן על דאטה מסונן מבוסס שיחות.

  • 8,192טוקנים בהקשר
  • 29.5 GBמשקל הקבצים
  • 113הורדות בחודש
  • 103לייקים

מה זה

מדובר במודל שמבוסס על ארכיטקטורת GPTBigCodeForCausalLM ונועד לייצור טקסט וקוד באנגלית. הצוות לקח את StarCoderPlus ואימן אותו על כ־6K שיחות רב שלביות של GPT-4 שסוננו מתוך מאגר של כ־90K שיחות מ־ShareGPT, מתוך הנחה שאיכות הדאטה קובעת יותר מהכמות.

במבחני ביצועים היוצרים הציגו תוצאה של 102.5% מהציון של ChatGPT בהערכת Vicuna מבוססת GPT-4, ושיעור ניצחון של 78.7% ב־AlpacaEval. המספרים האלה מראים יכולת ניסוח תשובות ותכנות שמתחרות במודלים מסחריים מוקדמים, עם תמיכה מובנית בחלון הקשר ארוך של 8,192 טוקנים שמתאים לקבצי קוד שלמים.

מתאים ל

  • עבודה על קבצי קוד ארוכים

    חלון של 8,192 טוקנים מאפשר לקרוא קבצים שלמים ולבצע בהם שינויים ישירות.

  • עוזר שיחה למפתחים באנגלית

    הוא אומן על שיחות תכנות רב שלביות ומחזיר מענה ישיר במבנה שיחה.

  • הקמת שרת צ׳אט עצמאי לקוד

    הפרויקט כולל שרת מובנה שתואם לפורמט ChatCompletions וממשק רשת.

איפה זה נופל

האימון נשען על כ־6K שיחות בלבד, כך שהידע הכללי שלו צר משמעותית ממודלים רחבים. הוא מוגדר עבור השפה האנגלית בלבד, ואין שום עדות ליכולת עבודה בעברית. בנוסף, חובה להקפיד על תבנית השיחה המדויקת שכוללת שרשור טוקנים ייעודי וטוקן סיום מיוחד, אחרת איכות הפלט נפגעת.

שאלות
נפוצות

איך צריך לבנות את הפרומפט כדי לקבל תוצאות נכונות?

המודל דורש מבנה טוקניזציה מדויק שבו משרשרים טוקנים של User, שאלת המשתמש, טוקן מיוחד של סיום תור, ואז טוקן Assistant. היוצרים מציינים שבגלל מנגנון BPE אסור להמיר את כל המחרוזת יחד אלא יש לשרשר את הטוקנים הנפרדים.

האם המודל מתאים למוצר מסחרי?

לא כדאי להכניס אותו למוצר כרגע. בעמוד לא פורסם רישיון שימוש, ובלי הגדרה ברורה מה מותר לעשות עם המשקלים, השימוש בו כרוך בסיכון משפטי.

איך מריצים

כדי להריץ אותו צריך לטעון 29.5 GB של משקלים בפורמט bfloat16 דרך ספריית transformers. נדרש כרטיס מסך ייעודי בעל זיכרון גדול מספיק להחזיק את הקבצים האלה לפני חישוב ההקשר, או שרת ייעודי.

היוצרים מספקים קוד מקור מלא שכולל שרת הסקת מסקנות תואם למבנה של ChatCompletions וממשק רשת. אם אין לכם חומרה מתאימה להחזקת משקל כזה בזיכרון, עדיף להשתמש ב־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="openchat/opencoderplus")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 29.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצרים לא דיווחו על רישיון בעמוד המודל. מבחינה משפטית, היעדר רישיון אומר שאין היתר שימוש מפורש, ולכן אי אפשר להטמיע אותו במוצר מסחרי או להפיץ אותו בלי להסתכן בהפרת זכויות יוצרים.

הרישיון המלא בעמוד המודל ↗