diffusiongemma-26B-A4B-it-NVFP4

מה זה

במקום הארכיטקטורה הרגילה שפולטת מילה אחר מילה, המודל הזה מבוסס על דיפוזיה שמייצרת בלוקים של 256 טוקנים במקביל. הבסיס הוא ארכיטקטורת תערובת מומחים עם 25.2 מיליארד פרמטרים בסך הכול, אבל רק 3.8 מיליארד מהם פעילים בכל רגע נתון. NVIDIA לקחה את המודל המקורי של גוגל ודחסה אותו לפורמט NVFP4 של 4 ביט כדי לחסוך זיכרון ולהאיץ את הריצה, כשהוא מגיע לקצב של מעל 1,100 טוקנים בשנייה בחומרה נתמכת.

מבחינת יכולות, הוא מקבל טקסט, תמונות ברזולוציות משתנות וסרטוני וידאו של עד 60 שניות בקצב של פריים לשנייה, ופולט טקסט. המדידות מראות שהדחיסה כמעט ולא פגעה ביכולת שלו, כשבמבחני חשיבה מתמטית כמו AIME 2025 הוא ירד מ־68.33% ל־67.33%, ובמבחני תכנות כמו HumanEval הוא אפילו רשם 95% לעומת 94.09% במקור.

מתאים ל

• ניתוח מסמכים וטפסים

  הוא מטפל בתמונות וקבצי PDF ומחלץ נתונים מובנים בעזרת פלט JSON מובנה ותמיכה בהקשר ארוך.

• תחקור קטעי וידאו קצרים

  הוא מנתח קבצי וידאו של עד דקה ומאפשר לתשאל אותם במהירות בלי צורך בחיתוך ידני של פריימים.

• סוכני אוטומציה וקוד

  השילוב של תמיכה בקריאת פונקציות, מצב חשיבה וציון גבוה של 95% ב־HumanEval מתאים לביצוע משימות פיתוח.

איפה זה נופל

המודל פולט לפעמים טקסט לא מדויק, משמיט פרטים מהותיים ומייצר תוכן מיותר או פוגעני גם כשלא ביקשתם ממנו, בעקבות הטיות בנתוני האימון מהרשת. נוסף על כך, הוא מוגבל לווידאו של עד דקה בלבד, והכרטיס מציין במפורש שהוא לא מטשטש פנים או שומר על פרופורציות של דמויות שמופיעות בקלטים הוויזואליים. אם אתם בונים שירות שמעבד מסמכים רגישים או תמונות של אנשים, חובה להפעיל שכבות בדיקה וסינון לפני שהפלט מגיע למשתמש.

איך מריצים

כדי להריץ אותו צריך מנוע vLLM ומאיץ מהדורות החדשים של NVIDIA, ספציפית Hopper כמו H100 או Blackwell כמו B100 שתומכים בפורמט NVFP4. משקל הקבצים עומד על 17.6 גיגה בייט, כך שהוא נכנס בקלות לכרטיס בודד, אבל אי אפשר להריץ את הדיוק הזה ביעילות על חומרה ישנה יותר או על כרטיסים צרכניים רגילים.

אם אין לכם שרת ייעודי עם מעבדי Hopper או Blackwell בענן, אין טעם לנסות להרים אותו מקומית. במצב כזה עדיף לשלם לפי קריאה לספק ענן חיצוני שמחזיק את החומרה המתאימה, במיוחד בהתחשב בכך שפקודות ההרצה והאימג' של vLLM עדיין מוגדרים תחת בדיקה.

pip install -U huggingface_hub
hf download nvidia/diffusiongemma-26B-A4B-it-NVFP4

הקבצים

14 קבצים במאגר, 17.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors10.0 GB
• model-00002-of-00002.safetensors8.8 GB
• tokenizer.json32.2 MB
• model.safetensors.index.json4.7 MB
• .quant_summary.txt3.7 MB
• chat_template.jinja17.3 KB
• apache_2.0_license.md11.4 KB
• README.md10.0 KB
• config.json5.2 KB
• tokenizer_config.json2.7 KB
• processor_config.json1.7 KB
• .gitattributes1.6 KB
• hf_quant_config.json463 B
• generation_config.json357 B

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0, שמאפשר שימוש מסחרי ושינוי קוד פתוח. יחד עם זאת, חלים עליו במקביל תנאי השימוש ומדיניות השימושים האסורים של Gemma מבית גוגל, מה שאומר שיש הגבלות על שימושים מזיקים מסוימים שחובה לבדוק לפני הטמעה במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗