GPT
הוספת כלי
C

CodeNinja-1.0-OpenChat-7B

קוד פתוח

beowolxmit2023-12-20

  • transformers
  • safetensors
  • mistral
  • text-generation
  • code

גרסה מכווננת של OpenChat 3.5 שנועדה לכתיבת קוד. היא מתאימה למי שמחפש מודל שבעה מיליארד פרמטרים שאומן על מעל 400 אלף הוראות פיתוח ומסוגל לרוץ מקומית.

  • 7.2Bפרמטרים
  • 8,192טוקנים בהקשר
  • 13.5 GBמשקל הקבצים
  • 8,365הורדות בחודש

מה זה

הבסיס כאן הוא מודל OpenChat 3.5, שעבר אימון נוסף עם שני מאגרי מידע גדולים של הוראות קוד, כולל glaive-code-assistant-v2 ומאגר נוסף במבנה Alpaca. המטרה של האימון הזה היא לתת לו יכולת טובה יותר להבין משימות תכנות בשפות נפוצות כמו פייתון, ג'אווה, ראסט, C ו־JavaScript.

במקום מודל שיחה כללי שמנסה לענות על הכל, הדגש הועבר כולו לקוד. עם חלון הקשר של 8,192 טוקנים, אפשר להזין לו פונקציות ארוכות או קבצים שלמים כדי לקבל השלמות או תיקונים, בלי שהזיכרון שלו ייחתך מיד באמצע התהליך.

מתאים ל

  • השלמת קוד מקומית

    עבודה בתוך סביבת הפיתוח עם חלון הקשר של 8,192 טוקנים, בלי להוציא קוד סודי לרשת.

  • סיוע בשפות נפוצות

    כתיבת פונקציות ותרגום לוגיקה בפייתון, C++, ג'אווה, JavaScript וראסט.

  • בדיקות ודיבאג בלפטופ

    הרצה קלה דרך קובצי GGUF בתוכנות פשוטות כמו LM Studio בלי כרטיס שרת ייעודי.

איפה זה נופל

המודל תלוי לחלוטין במבנה הפרומפט המדויק של OpenChat. אם שוכחים להוסיף את התחיליות הנכונות או את הטוקן המיוחד בסוף התור, התוצאות משתבשות לחלוטין. בנוסף, הוא מוגדר רשמית לאנגלית בלבד, כך שלא כדאי לבנות עליו להסברים בעברית. כרטיס המודל גם לא מציג מבחני ביצועים רשמיים, כך שחייבים לבדוק אותו עצמאית לפני שמסתמכים עליו.

שאלות
נפוצות

האם המודל מבין הוראות בעברית?

המודל הוגדר ואומן באנגלית בלבד. הוא עשוי לפענח מילים בסיסיות בעברית, אבל הוא לא מיועד לזה והתשובות שלו בקוד ובהסברים יהיו תקינות רק באנגלית.

למה חייבים להשתמש בפורמט הפרומפט של OpenChat?

האימון של המודל התבסס על מבנה שיחה מסוים שמפריד בין המשתמש לעוזר עם טוקנים מיוחדים. אם לא מקפידים על הפורמט הזה, המודל מתבלבל ולא יודע מתי לסיים את התשובה.

איך מריצים

המשקל המקורי תופס 13.5 גיגה בייט בפורמט bfloat16, כך שצריך כרטיס מסך עם לפחות 16 גיגה זיכרון כדי לטעון אותו כמו שהוא דרך ספריית transformers. אם אין לכם חומרה כזו, המפתח פרסם גרסאות מכווצות בפורמט GGUF שמתאימות לתוכנות כמו LM Studio ומאפשרות להריץ אותו גם על מעבד רגיל או כרטיסים צנועים יותר.

אם אתם צריכים רק עזרה נקודתית בקוד ולא רוצים לנהל תשתית מקומית, שימוש ב־API חיצוני כנראה יהיה פשוט ומהיר יותר. הרצה מקומית משתלמת בעיקר כשאתם לא רוצים שהקוד שלכם ייצא מהמחשב.

from transformers import pipeline

pipe = pipeline("text-generation", model="beowolx/CodeNinja-1.0-OpenChat-7B")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שנותן חופש כמעט מוחלט לשימוש מסחרי, שינוי קוד והפצה מחדש. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים המקורית בתוך המוצר שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗