DeepSeek-V4-Flash-NVFP4

מה זה

מדובר בגרסת קוונטיזציה של אנבידיה למודל DeepSeek-V4-Flash, בארכיטקטורת תערובת מומחים עם 284 מיליארד פרמטרים בסך הכול, שמתוכם 13 מיליארד פעילים בכל טוקן. המודל כולל מנגנון שמאפשר לבחור בין שלושה מצבי חשיבה, החל ממענה מהיר ללא שלב ביניים ועד חקירה לוגית מעמיקה, לצד תמיכה בקריאות לפונקציות ופלט של ג'ייסון מובנה.

הכיווץ לפורמט NVFP4 בוצע על שכבות הלינאר בבלוקי המומחים בלבד. מבחני הביצועים מראים שהדיוק כמעט לא נפגע ביחס למקור, עם ירידה זניחה בלבד בשאלות מדעיות מורכבות כמו GPQA Diamond מתוצאה של 0.894 ל־0.891, שמירה על ציון 0.481 בכתיבת קוד מדעי, ואפילו עליה קלה ל־0.795 במעקב אחר הוראות מורכבות.

מתאים ל

• סוכנים עם גישה לכלים

  הוא הגיע לתוצאה של 0.942 במבחן Telecom ומסוגל להפעיל כלים ולפתור בעיות מורכבות מול משתמשים.

• ניתוח מסמכים ארוכים

  חלון של מיליון טוקנים עם תוצאת שחזור של 0.655 מתאים לעיבוד מאגרי מידע גדולים ללא חיתוך.

• פתרון בעיות הנדסיות

  שלושת מצבי החשיבה מאפשרים להקצות עומק חישובי גבוה לחישובים וקוד מדעי ברמת מומחה.

איפה זה נופל

המודל אומן על מידע גולמי מהאינטרנט שכולל הטיות תרבותיות ושפה רעילה, והוא עלול לחזור עליהן או להחמיר אותן אפילו בלי לקבל שאילתה פוגענית באופן מפורש. בנוסף, הוא עלול להמציא תשובות שגויות, להחסיר פרטים חשובים או לפלוט תוכן מיותר, מה שמחייב מנגנוני בדיקה וסינון עצמאיים לפני שהוא נחשף למשתמשי קצה.

איך מריצים

כדי להריץ אותו צריך חומרת Blackwell של אנבידיה, כמו כרטיסי B200 או מערכות GB300, לצד מערכת הפעלה מבוססת לינוקס. ההרצה דורשת חלוקה לכמה מעבדים גרפיים, למשל מקביליות של ארבעה כרטיסים תחת vLLM או שמונה כרטיסים תחת SGLang, עם מפתח הזיהוי של המודל ואישור הרצת קוד חיצוני.

אם אין לכם גישה לשרת ייעודי עם מעבדי Blackwell בענן או בארגון, המודל הזה לא יעבוד אצלכם פיזית. במקרה כזה עדיף לצרוך את המודל דרך ספק API חיצוני במקום לנסות להשמיש חומרה יקרה שלא תומכת בפורמט הזה.

pip install -U huggingface_hub
hf download nvidia/DeepSeek-V4-Flash-NVFP4

הקבצים

76 קבצים במאגר, 157 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00004-of-00046.safetensors3.8 GB
• model-00012-of-00046.safetensors3.8 GB
• model-00014-of-00046.safetensors3.8 GB
• model-00016-of-00046.safetensors3.8 GB
• model-00018-of-00046.safetensors3.8 GB
• model-00020-of-00046.safetensors3.8 GB
• model-00022-of-00046.safetensors3.8 GB
• model-00024-of-00046.safetensors3.8 GB
• model-00026-of-00046.safetensors3.8 GB
• model-00028-of-00046.safetensors3.8 GB
• model-00030-of-00046.safetensors3.8 GB
• model-00032-of-00046.safetensors3.8 GB
• model-00034-of-00046.safetensors3.8 GB
• model-00036-of-00046.safetensors3.8 GB
• model-00038-of-00046.safetensors3.8 GB
• model-00040-of-00046.safetensors3.8 GB
• model-00042-of-00046.safetensors3.8 GB
• model-00044-of-00046.safetensors3.8 GB
• model-00006-of-00046.safetensors3.8 GB
• model-00008-of-00046.safetensors3.8 GB
• model-00010-of-00046.safetensors3.8 GB
• model-00013-of-00046.safetensors3.8 GB
• model-00015-of-00046.safetensors3.8 GB
• model-00017-of-00046.safetensors3.8 GB
• model-00019-of-00046.safetensors3.8 GB
• model-00021-of-00046.safetensors3.8 GB
• model-00023-of-00046.safetensors3.8 GB
• model-00025-of-00046.safetensors3.8 GB
• model-00027-of-00046.safetensors3.8 GB
• model-00029-of-00046.safetensors3.8 GB
• model-00031-of-00046.safetensors3.8 GB
• model-00033-of-00046.safetensors3.8 GB
• model-00035-of-00046.safetensors3.8 GB
• model-00037-of-00046.safetensors3.8 GB
• model-00039-of-00046.safetensors3.8 GB
• model-00041-of-00046.safetensors3.8 GB
• model-00043-of-00046.safetensors3.8 GB
• model-00005-of-00046.safetensors3.8 GB
• model-00007-of-00046.safetensors3.8 GB
• model-00009-of-00046.safetensors3.8 GB

הרישיון

הרישיון הוא MIT, מה שנותן חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים שלכם, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗