NVLM-D-72B

מה זה

המודל מחבר את Qwen2-72B כבסיס טקסטואלי יחד עם מקודד תמונה InternViT-6B, מה שמביא אותו לסך של כמעט 80 מיליארד פרמטרים. הוא מקבל תמונות וטקסט ומחזיר טקסט בלבד, עם חלון הקשר של 128 אלף טוקנים. השימוש העיקרי כאן הוא פיענוח תרשימים, קריאת מסמכים, ניתוח חזותי וזיהוי תווים.

במבחני ביצועים הוא עוקף מודלים סגורים בנקודות ספציפיות, למשל ציון 852 במבחן OCRBench מול 736 של GPT-4o, וציון 65.2 ב־MathVista. מעבר למשימות ראייה, במבחני טקסט טהורים כמו מתמטיקה וקוד המודל הציג שיפור לעומת מודל הבסיס שלו, בניגוד למודלים מקבילים שמפגינים ירידה בביצועי טקסט ברגע שמלמדים אותם לעבד תמונות.

מתאים ל

• חילוץ נתונים מדוחות וטבלאות

  התוצאות במבחן OCRBench ו־DocVQA מצביעות על דיוק גבוה במיוחד בקריאת מסמכים סרוקים ותרשימים באנגלית.

• פתרון בעיות מתמטיות חזותיות

  המודל השיג 65.2 ב־MathVista, מה שהופך אותו לאחד הכלים החזקים לניתוח שאלות עם איורים וגרפים.

• מחקר אקדמי על מודלי מולטימודל

  המשקולות פתוחות ורישיון השימוש מאפשר בדיקות מעבדה והשוואות ישירות מול מערכות מסחריות סגורות.

איפה זה נופל

המודל פולט טקסט בלבד ואינו מסוגל לייצר תמונות בשום צורה. בנוסף, הוא מסומן רשמית עבור השפה האנגלית בלבד, כך שאין שום הבטחה לתמיכה בעברית, בניתוח מסמכים מקומיים או בקריאת גרפים עם פונטים בעברית. יש פערים קלים בתוצאות המדידה בין הרצה בסביבת המקור Megatron לבין הרצה בספריית Transformers של HuggingFace.

איך מריצים

משקל הקבצים עומד על 165 גיגה בפורמט bfloat16, מה שאומר שאי אפשר להריץ אותו על שום כרטיס בודד לצרכנים. אנבידיה בדקה אותו על חומרת הופר H100 תחת לינוקס, ובפועל תצטרכו שרת עם מספר מאיצים גרפיים בעלי זיכרון גבוה כדי לטעון אותו אפילו להסקה בסיסית דרך Transformers.

אם אין לכם קלאסטר של כמה כרטיסי שרת זמינים, אין היגיון טכני לנסות להרים אותו מקומית. עדיף להשתמש בפתרונות API קיימים או לחכות לגרסאות מכווצות בקוונטיזציה.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="nvidia/NVLM-D-72B")
print(pipe("שלום"))

הקבצים

72 קבצים במאגר, 165 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00042-of-00046.safetensors4.0 GB
• model-00045-of-00046.safetensors3.9 GB
• model-00043-of-00046.safetensors3.9 GB
• model-00044-of-00046.safetensors3.9 GB
• model-00007-of-00046.safetensors3.8 GB
• model-00008-of-00046.safetensors3.8 GB
• model-00009-of-00046.safetensors3.8 GB
• model-00010-of-00046.safetensors3.8 GB
• model-00011-of-00046.safetensors3.8 GB
• model-00012-of-00046.safetensors3.8 GB
• model-00013-of-00046.safetensors3.8 GB
• model-00014-of-00046.safetensors3.8 GB
• model-00015-of-00046.safetensors3.8 GB
• model-00016-of-00046.safetensors3.8 GB
• model-00017-of-00046.safetensors3.8 GB
• model-00018-of-00046.safetensors3.8 GB
• model-00019-of-00046.safetensors3.8 GB
• model-00020-of-00046.safetensors3.8 GB
• model-00021-of-00046.safetensors3.8 GB
• model-00022-of-00046.safetensors3.8 GB
• model-00023-of-00046.safetensors3.8 GB
• model-00024-of-00046.safetensors3.8 GB
• model-00025-of-00046.safetensors3.8 GB
• model-00026-of-00046.safetensors3.8 GB
• model-00027-of-00046.safetensors3.8 GB
• model-00028-of-00046.safetensors3.8 GB
• model-00029-of-00046.safetensors3.8 GB
• model-00030-of-00046.safetensors3.8 GB
• model-00031-of-00046.safetensors3.8 GB
• model-00032-of-00046.safetensors3.8 GB
• model-00033-of-00046.safetensors3.8 GB
• model-00034-of-00046.safetensors3.8 GB
• model-00035-of-00046.safetensors3.8 GB
• model-00036-of-00046.safetensors3.8 GB
• model-00037-of-00046.safetensors3.8 GB
• model-00038-of-00046.safetensors3.8 GB
• model-00039-of-00046.safetensors3.8 GB
• model-00040-of-00046.safetensors3.8 GB
• model-00002-of-00046.safetensors3.8 GB
• model-00003-of-00046.safetensors3.8 GB

הרישיון

הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד. אסור לשלב אותו בשום מוצר שמייצר הכנסה, בתוך שירות בתשלום או כחלק ממערכת עסקית. השימוש מותר רק למחקר, ניסויים פנימיים או פרויקטים ללא מטרת רווח.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗