DeepSeek-Coder-V2-Lite-Base

מה זה

מדובר במודל שפותח מתוך גרסת ביניים של DeepSeek-V2 ואומן על עוד 6 טריליון טוקנים עם דגש על תכנות ומתמטיקה. למרות שהוא כולל כמעט 16 מיליארד פרמטרים, מבנה המומחים שלו מפעיל רק 2.4 מיליארד פרמטרים בכל שלב. הדבר מאפשר לו לרוץ במהירות שמזכירה מודלים קטנים בהרבה, בזמן שהוא מחזיק ידע רחב שמכסה 338 שפות תכנות.

גרסת הבסיס הזו מגיעה בלי כוונון לשיחה. היא יודעת לחזות את הטוקן הבא, להמשיך שורות קוד או למלא קטעים חסרים באמצע קובץ. היא לא תענה לפקודות חופשיות באותה טבעיות של גרסת ה־Instruct, אבל היא נותנת לוח חלק ומדויק למי שרוצה לאמן מודל פנימי על מאגר הקוד הפרטי של החברה שלו.

מתאים ל

• השלמת קוד בעורך

  תומך במילוי קוד באמצע קובץ ומפעיל מעט פרמטרים, מה שנותן זמני תגובה טובים להקלדה חיה.

• בסיס לאימון מותאם

  גרסת בסיס ללא התאמות שיחה קודמות, אידיאלית לכוונון על בסיס קוד ארגוני פנימי.

• תמיכה בשפות נדירות

  אומן על 338 שפות פיתוח, ולכן מתאים גם לפרויקטים שכתובים בשפות פחות נפוצות.

איפה זה נופל

זהו מודל בסיס ולא מודל שיחה, מה שאומר שאם תבקשו ממנו משהו בסגנון תכתוב לי פונקציה הוא פשוט ימשיך את הטקסט כאילו מדובר בעוד שורה במסמך. בנוסף, חלון ההקשר אמנם מוגדר ל־128 אלף טוקנים בתיעוד, אבל ניצול של כל הטווח הזה דורש כמות זיכרון עצומה שלא מעשית בכל סביבת עבודה מקומית. אין בתיעוד נתונים על יכולות בעברית, ולכן ההנחה היא שהבנת השפה המקומית כאן בסיסית מאוד אם בכלל.

אותה משפחה

DeepSeek-Coder-V2-Lite יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על קרוב ל־30 גיגה בפורמט bfloat16. כדי לטעון אותו ישירות לזיכרון של כרטיס מסך יחיד תצטרכו לפחות חומרה של 32GB עד 40GB, או לחלופין לבצע קוונטיזציה שתאפשר דחיסה לכרטיסים צרכניים פופולריים של 16GB או 24GB. ההרצה נעשית ישירות מול transformers עם הרשאת קוד מרוחק, או באמצעות תמיכה מותאמת בספריות כמו vLLM לשיפור הביצועים.

אם אתם לא צריכים פרטיות מוחלטת שדורשת שרת מקומי, החברה מציעה גם API תואם OpenAI בתשלום לפי שימוש. במקרים שבהם התשתית המקומית שלכם מוגבלת או שמדובר בניסוי ראשוני בלבד, הפנייה לשרת המרוחק חוסכת את ההתעסקות בתחזוקת כרטיסי מסך יקרים.

from transformers import pipeline

pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-Coder-V2-Lite-Base")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 29.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-000004.safetensors8.6 GB
• model-00002-of-000004.safetensors8.6 GB
• model-00003-of-000004.safetensors8.6 GB
• model-00004-of-000004.safetensors5.6 GB
• tokenizer.json4.6 MB
• model.safetensors.index.json479.9 KB
• modeling_deepseek.py78.7 KB
• README.md11.3 KB
• configuration_deepseek.py10.3 KB
• config.json1.5 KB
• .gitattributes1.5 KB
• tokenization_deepseek_fast.py1.4 KB
• tokenizer_config.json1.3 KB
• generation_config.json181 B

הרישיון

הקוד ברישיון MIT והמודל עצמו כפוף להסכם רישיון ייעודי של המפתחת שמוגדר במערכת כרישיון מסוג other. החברה מצהירה במפורש בעמוד שהשימוש במודל ובגרסאותיו מאושר גם למטרות מסחריות, אך לפני שילוב שלו במוצר סופי כדאי לבדוק את התנאים המדויקים בהסכם המודל המצורף.

הרישיון המלא בעמוד המודל ↗