GPT
הוספת כלי
D

DeepSeek-V3-0324-4bit

קוד פתוח

mlx-communitymit2025-03-24

  • mlx
  • safetensors
  • deepseek_v3
  • text-generation
  • conversational

גרסה מכווצת של מודל ענק שמיועדת להרצה ישירה על חומרת אפל סיליקון. מקבלים חלון הקשר עצום ומשקל שמתאים רק למי שמחזיק תחנות עבודה כבדות במיוחד.

  • 671Bפרמטרים
  • 163,840טוקנים בהקשר
  • 352 GBמשקל הקבצים
  • 1,410הורדות בחודש

מה זה

מדובר בהמרה של מודל DeepSeek-V3 עם 671 מיליארד פרמטרים וארכיטקטורת MoE למבנה של ספריית mlx, בכימוס של 4 ביט. המודל שומר על דיוק בסיסי של bfloat16 על פני 61 שכבות, כשהמטרה היא לאפשר הרצה מקומית של מודל דגל בקוד פתוח על מחשבי מק תואמים.

היתרון המרכזי כאן הוא חלון הקשר של 163,840 טוקנים. זה נפח עצום שמתאים לטעינת מסמכים ארוכים, ספריות קוד שלמות או ניתוח היסטוריית שיחה מעמיקה בלי לאבד פרטים בדרך, משהו שמעט מאוד מודלים פתוחים מסוגלים להחזיק ברמת דיוק סבירה.

בניגוד למודלים סטנדרטיים שדורשים חוות שרתי לינוקס יקרות עם כרטיסי אנבידיה, ההתאמה לפורמט הזה מאפשרת לנהל את כל החישוב דרך הזיכרון המאוחד של אפל, בלי תלות בתשתיות ענן חיצוניות.

מתאים ל

  • ניתוח בסיסי קוד מלאים

    חלון של 163,840 טוקנים מאפשר להזין פרויקט שלם ברצף ולמצוא תלויות או באגים.

  • עיבוד מסמכים רגישים

    הרצה מקומית מלאה במק שמונעת זליגת מידע ארגוני ומסמכים משפטיים לענן חיצוני.

  • מחקר והערכת מודלים

    בדיקת יכולות של מודל ענק בכימוס 4 ביט על חומרת אפל בלי צורך בשרתי אנבידיה.

איפה זה נופל

ההורדה של 352 גיגה בייט היא סיוט תשתיתי בפני עצמו, וכל תקלה ברשת עלולה לעצור את התהליך באמצע. מעבר לגודל, כימוס של 4 ביט תמיד גובה מחיר מסוים באיכות הפלט, בעיקר בלוגיקה מורכבת וביצירת קוד רגיש, ולכן חובה לבדוק את התוצאות מול המקור לפני שסומכים עליו בתהליכים קריטיים.

שאלות
נפוצות

האם המודל יעבוד על מקבוק פרו רגיל עם 64 או 128 גיגה זיכרון?

לא. משקל הקבצים לבדו הוא 352 גיגה בייט, והוא דורש זיכרון פנוי גדול מזה כדי להיטען ולהריץ טוקנים. ניסיון להעלות אותו על מחשב עם פחות מ־384 גיגה זיכרון יקרוס מיד.

למה שהמודל יחולק ל־97 קבצים שונים?

חלוקה כזו נדרשת כדי לנהל הורדה וטעינה של נפח עצום כזה בצורה יציבה. ספריית mlx טוענת את החלקים במקביל לפי הצורך ומקלה על ניהול הקבצים בדיסק.

איך מריצים

כדי להריץ אותו מתקינים את mlx-lm וטוענים את המשקלים ישירות בפייתון. הקבצים שוקלים 352 גיגה בייט ומחולקים ל־97 קבצים שונים, כך שתצטרכו מק שכולל לפחות 384 גיגה זיכרון מאוחד, כמו מערכות Mac Studio או Mac Pro ברמת הקצה הגבוהה ביותר, לצד כונן SSD מהיר מאוד ופנוי לחלוטין.

אם אין לכם מחשב ייעודי ברמה הזו, אין בכלל טעם לנסות להוריד אותו הביתה. במקרים כאלה עדיף בהרבה להשתמש ב־API מנוהל של המודל המקורי, לשלם לפי טוקנים בפועל ולחסוך רכישה של חומרה שעולה עשרות אלפי שקלים.

pip install -U huggingface_hub
hf download mlx-community/DeepSeek-V3-0324-4bit

הקבצים

97 קבצים במאגר, 352 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא MIT, שזה הרישיון הכי מתירני שיש. אתם יכולים לקחת את המשקלים, לשלב אותם במוצר מסחרי, להריץ שירותים פנימיים או למכור גישה אליהם בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗