GPT
הוספת כלי
D

deepseek-coder-7b-instruct-v1.5

קוד פתוח

deepseek-aiother2024-01-25

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסת קוד ממוקדת של שבעה מיליארד פרמטרים שמתאימה להרצה מקומית בלי לשתף מידע רגיש. היא אומנה על הוראות ומיועדת לכתיבה והבנה של פונקציות קצרות.

  • 6.9Bפרמטרים
  • 4,096טוקנים בהקשר
  • 12.9 GBמשקל הקבצים
  • 748,975הורדות בחודש

מה זה

מדובר במודל שמבוסס על Deepseek-LLM 7B ועבר אימון המשך על שני טריליון טוקנים עם חלון של 4,096 טוקנים, לצד כיוונון עדין על שני מיליארד טוקנים של מידע מבוסס הנחיות. הארכיטקטורה שלו נשענת על LlamaForCausalLM עם 30 שכבות, והוא שוקל 12.9 גיגה-בייט בפורמט bfloat16, מה שמציב אותו בדיוק ברף שאפשר להריץ על כרטיס גרפי ביתי חזק.

בגזרה של מודלים בגודל כזה, הוא מכוון ישירות לכתיבת קוד לפי דרישה בשפה טבעית במקום טקסט כללי. הוא יודע לקבל הנחיה מובנית בפורמט צ'אט, להחזיר מימושים של אלגוריתמים, ולעזור בהשלמת לוגיקה תכנותית נקודתית בלי צורך במשקלים ענקיים של מודלים כלליים מסחריים.

מתאים ל

  • עוזר קוד מקומי ב־IDE

    הוא מגיב מהר יחסית על כרטיס יחיד ומייצר פונקציות לפי דרישה בלי להוציא קוד מהרשת המקומית.

  • בדיקות יחידה לפונקציות

    חלון ההקשר הקצר מספיק בדיוק לקבלת פונקציה וכתיבת מקרי בדיקה סביבה בלי להעמיס קונטקסט.

  • בוט פנימי לשאלות תכנות

    מתאים להרצה על שרת פנימי קטן בארגון למענה על שאלות תחביר והסבר אלגוריתמים.

איפה זה נופל

המגבלה הכי כבדה כאן היא חלון ההקשר, שעומד על 4,096 טוקנים בלבד. אי אפשר לזרוק עליו פרויקט שלם, קבצי לוג ארוכים או כמה קבצים מורכבים במקביל, והוא מיועד בעיקר לפונקציות בודדות או קטעי קוד מבודדים. מעבר לזה, המודל דורש trust_remote_code בזמן הטעינה, מה שמחייב בדיקת קוד זהירה לפני שרצים איתו בסביבות עבודה רגישות ומאובטחות.

אותה משפחה

deepseek-coder יצא ב־10 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

deepseek-coder-6.7b-instruct389,091 deepseek-coder-6.7b-base65,566 deepseek-coder-1.3b-instruct34,438 deepseek-coder-1.3b-base27,106 DeepSeek-Coder-V2-Instruct10,155 deepseek-coder-33b-instruct4,929 DeepSeek-Coder-V2-Base3,023 deepseek-coder-33b-base1,794

שאלות
נפוצות

האם אפשר להריץ את המודל על כרטיס מסך צרכני רגיל?

כן, אבל צריך לפחות 16 גיגה-בייט זיכרון וידאו כדי לטעון אותו בדיוק מלא. אם מבצעים קוונטיזציה אפשר לרדת גם לדרישות נמוכות בהרבה.

האם הוא מתאים לניתוח של ריפוזיטורי שלם?

לא. חלון ההקשר מוגבל ל־4,096 טוקנים, ולכן הוא ייכשל ברגע שתנסו להזין לו קבצים מרובים או היסטוריה ארוכה.

איך מריצים

כדי להריץ אותו כמו שהוא עם transformers ובדיוק המקורי, צריך כרטיס מסך עם לפחות 16 גיגה-בייט זיכרון וידאו, אחרת המשקלים פשוט יחרגו מהזיכרון. הטעינה נעשית ישירות דרך AutoModelForCausalLM עם trust_remote_code=True, ומריצים עליו תבנית שיחה רגילה.

אם יש לכם מחשב מקומי צנוע יותר או שאתם צריכים תגובות מהירות לעשרות מפתחים בו זמנית, אין טעם להילחם בחומרה. במצב כזה עדיף לקחת שירות מנוהל או API חיצוני במקום לנהל שרתים ייעודיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="deepseek-ai/deepseek-coder-7b-instruct-v1.5")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת תנאי שימוש ייעודיים של החברה ולא רישיון קוד פתוח סטנדרטי, אם כי היוצרים מציינים במפורש שהוא מאפשר שימוש מסחרי. יש לעיין בתנאי הרישיון המלאים של המודל כדי לוודא שאין הגבלות שימוש ספציפיות על המוצר שלכם.

הרישיון המלא בעמוד המודל ↗