GPT
הוספת כלי
D

deepseek-coder-33b-instruct

קוד פתוח

deepseek-aiother2023-11-01

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

זה מודל קוד גדול שמספק מענה להוראות פיתוח מורכבות עם חלון של 16 אלף טוקנים. הוא פונה למי שרוצה ביצועי קוד חזקים בהרצה מקומית, בלי להיות תלוי בספק סגור.

  • 33Bפרמטרים
  • 16,384טוקנים בהקשר
  • 124 GBמשקל הקבצים
  • 4,929הורדות בחודש

מה זה

המודל אומן מאפס על שני טריליון טוקנים, כאשר 87 אחוז מהם מורכבים מקוד מקור והשאר טקסט באנגלית ובסינית. גרסת ההוראות הזו עברה כוונון עדין על שני מיליארד טוקנים נוספים של הנחיות, במטרה להבין שאלות של מפתחים ולהחזיר קוד ישים ולא רק המשך טקסט עיוור.

בגודל של 33 מיליארד פרמטרים ועם חלון הקשר של 16,384 טוקנים, הוא בנוי לטפל ברמת הפרויקט. הוא מסוגל לקבל כמה קבצים במקביל, להבין תלויות ולהשלים קטעי קוד חסרים באמצע קובץ, מה שמבדיל אותו ממודלים קטנים שמתקשים לשמור על הקשר מעבר לפונקציה בודדת.

מתאים ל

  • השלמת קוד והשלמת חסרים

    הוא תומך במשימות של מילוי קוד באמצע קובץ ונעזר בהקשר רחב של עד 16 אלף טוקנים.

  • הבנת פרויקטים ומספר קבצים

    הגודל שלו וחלון הזיכרון מאפשרים להזין כמה מודולים יחד לניתוח שגיאות ותלויות.

  • עוזר פיתוח בצ'אט מקומי

    הוא עבר כוונון ייעודי למענה על שאלות תכנות, כתיבת אלגוריתמים והסבר קוד קיים.

איפה זה נופל

האימון כלל שפות אנושיות באנגלית ובסינית בלבד, כך שאין כאן תמיכה מובנית בעברית, והוא עלול לייצר פלט משובש אם תשאלו אותו שאלות בעברית. בנוסף, חלון של 16 אלף טוקנים דורש המון זיכרון בזמן ריצה. אם תנצלו את כל החלון, זמני התגובה יתארכו משמעותית וצריכת הזיכרון תזנק.

אותה משפחה

deepseek-coder יצא ב־10 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

deepseek-coder-7b-instruct-v1.5748,975 deepseek-coder-6.7b-instruct389,091 deepseek-coder-6.7b-base65,566 deepseek-coder-1.3b-instruct34,438 deepseek-coder-1.3b-base27,106 DeepSeek-Coder-V2-Instruct10,155 DeepSeek-Coder-V2-Base3,023 deepseek-coder-33b-base1,794

שאלות
נפוצות

האם אפשר להריץ את המודל הזה על תחנת עבודה רגילה?

לא בדיוק. בגלל גודל של 33 מיליארד פרמטרים ומשקל קבצים של 124 גיגה בייט, חובה להחזיק כרטיסי מסך מקצועיים עם שפע זיכרון VRAM, אלא אם מבצעים קוונטיזציה משמעותית.

במה הוא שונה מגרסת ה־6.7B של אותה סדרה?

הוא מחזיק בהרבה יותר פרמטרים ודורש משאבים כבדים בהרבה, אך בתמורה הוא מתמודד טוב יותר עם לוגיקה סבוכה, ארכיטקטורת תוכנה ופרויקטים מרובי קבצים שבהם מודלים קטנים נוטים לפספס.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־124 גיגה בייט בדיוק של bfloat16. כדי להריץ אותו בלי קוונטיזציה תצטרכו לפחות שני כרטיסי מסך של 40 גיגה בייט, או שרת ייעודי עם A100 או H100. זה לא משהו שרץ על מחשב נייד סטנדרטי בלי לכווץ אותו ל־4 ביט.

המפתחים מציעים גם גרסאות קלות בהרבה של 1.3, 5.7 ו־6.7 מיליארד פרמטרים, שמתאימות יותר לחומרה ביתית. אם אין לכם תשתית ענן חזקה או צורך קריטי בפרטיות מוחלטת, פשוט עדיף להתחבר לממשק הצ'אט או ל־API שלהם במקום לשלם על השרתים.

from transformers import pipeline

pipe = pipeline("text-generation", model="deepseek-ai/deepseek-coder-33b-instruct")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 124 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת תנאי שימוש ייעודיים של החברה ולא רישיון קוד פתוח סטנדרטי, אך המפתחים מצהירים שהוא מתיר שימוש מסחרי. יש לעיין בהסכם המלא במאגר שלהם כדי לוודא שאין הגבלות על אופי המוצר שאתם בונים.

הרישיון המלא בעמוד המודל ↗