GPT
הוספת כלי
D

deepseek-llm-7b-chat

קוד פתוח

deepseek-aiother2023-11-29

  • transformers
  • pytorch
  • llama
  • text-generation
  • conversational

גרסת צ'אט של שבעה מיליארד פרמטרים שאומנה מאפס על שני טריליון טוקנים. היא פונה למי שמחפש מודל קומפקטי שמבין ומייצר היטב אנגלית וסינית.

  • 4,096טוקנים בהקשר
  • 12.9 GBמשקל הקבצים
  • 20,681הורדות בחודש
  • 227לייקים

מה זה

מדובר במודל שיחה שמבוסס על ארכיטקטורת LlamaForCausalLM עם 30 שכבות, שנוצר על ידי כוונון של מודל הבסיס על נתוני הוראות נוספים. המאפיין הבולט באימון שלו הוא הדגש הדו־לשוני המכוון, שנשען על מאגר רחב באנגלית ובסינית כבר משלב הבסיס. בעוד שמודלים מערביים בגודל הזה מתמקדים כמעט רק באנגלית, כאן יש תשתית חזקה למי שצריך תקשורת ועבודה מול השוק הסיני.

המודל מגיע בדיוק של bfloat16 עם משקל כולל של כמעט שלושה עשר גיגה־בייט. הוא מיועד לשיחה ישירה במבנה של שאלות ותשובות, אך דורש עבודה מדויקת מול הפורמט הטקסטואלי שהוגדר לו כדי לשמור על רציפות השיחה בלי להיתקל בהזיות מיותרות.

מתאים ל

  • עבודה דו־לשונית

    תרגום, ניתוח ושיחה באנגלית ובסינית, בזכות אימון מאפס על שני טריליון טוקנים בשפות אלו.

  • צ'אטבוט עצמאי מקומי

    הפעלת עוזר שיחה על כרטיס מסך בודד של 16GB, בלי תלות בשירותי ענן חיצוניים.

  • מענה להוראות ישירות

    ביצוע משימות טקסט מוגדרות בפנייה יחידה של משתמש, ללא צורך בהגדרת פרומפט מערכת.

איפה זה נופל

היוצרים מבהירים במפורש שהמודל אינו תומך בהנחיות מערכת (system prompt), וממליצים שלא להכניס אותן לקלט כי הדבר ישבש את הפלט. חלון ההקשר עומד על 4,096 טוקנים בלבד, מה שמגביל מאוד ניתוח מסמכים ארוכים. בנוסף, האימון התמקד רק באנגלית ובסינית, כך שאין שום הבטחה או עדות ליכולות בעברית.

אותה משפחה

deepseek-llm יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

deepseek-llm-7b-base30,974 deepseek-llm-67b-base9,137 deepseek-llm-67b-chat1,226

שאלות
נפוצות

האם אפשר להשתמש בפרומפט מערכת כדי להגדיר לו אישיות?

לא. המפתחים מדגישים שהגרסה הזו אינה תואמת לפרומפטים של מערכת וממליצים לא לכלול אותם בקלט. כל ההנחיות חייבות להיכנס ישירות בהודעת המשתמש.

האם המודל מתאים לשיחה בעברית?

החומר מציין אימון באנגלית ובסינית בלבד. אין מידע על תמיכה בעברית, ולכן לא מומלץ להסתמך עליו למשימות בשפה זו ללא בדיקה מקדימה.

איך מריצים

כדי להריץ אותו מקומית ב־bfloat16 דרך ספריית transformers תצטרכו כרטיס מסך עם לפחות 16GB של VRAM, או לחלופין לפצל אותו על כמה כרטיסים בעזרת device_map אוטומטי. הקוד משתמש ב־AutoModelForCausalLM ישירות מהמשקלים.

אם יש לכם שרת מקומי עם החומרה המתאימה, ההרצה פשוטה. אם אתם על מכונות קטנות בלי GPU ייעודי, עלויות התשתית של שרת כזה בענן יהיו יקרות, ובמקרים כאלה עדיף לפנות ל־API חיצוני במקום לשלם על שרת קבוע.

from transformers import pipeline

pipe = pipeline("text-generation", model="deepseek-ai/deepseek-llm-7b-chat")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד בריפו מופץ תחת רישיון MIT, אך המשקלים עצמם כפופים לרישיון מודל ייעודי של החברה. הכרטיס מצהיר שהמודל מאפשר שימוש מסחרי, אך יש לקרוא את קובץ הרישיון המקורי כדי לוודא שאין בו מגבלות שימוש ספציפיות לפני שילובו במערכות ייצור.

הרישיון המלא בעמוד המודל ↗