Llama-3.1-Nemotron-Nano-VL-8B-V1

מה זה

המודל משלב בין מקודד התמונה C-RADIOv2-H לבין מודל השפה Llama-3.1-8B-Instruct, ומכוון ספציפית לניתוח מסמכים ותמונות. בשונה ממודלים כלליים שמתקשים בפרטים קטנים, הוא מפרק תמונות למערך של עד 12 אריחים ברזולוציה של 512 על 512 פיקסלים, מה שמאפשר לו לקרוא תוכן חד ומפורט ברזולוציות גבוהות.

במבחני הביצועים הוא מציג תוצאות חזקות בעיקר במשימות מובנות, עם 91.2 אחוזים ב־DocVQA ו־86.3 אחוזים ב־ChartQA. זה מראה שהחוזק העיקרי שלו הוא חילוץ מידע מדוחות, גרפים וטבלאות, ולאו דווקא ניתוח כללי של תמונות מורכבות בעולם האמיתי.

מתאים ל

• חילוץ נתונים מדוחות כספיים

  שליפת מספרים מתוך טבלאות וגרפים באנגלית בדיוק גבוה בזכות תוצאה של 86.3% במבחן ChartQA.

• קריאת מסמכים סרוקים

  זיהוי תווים וניתוח טפסים מורכבים ברזולוציה של עד 12 אריחים ללא צורך בענן חיצוני.

• עיבוד תמונה במכשירי קצה

  הרצה מקומית על כרטיסי Jetson Orin באמצעות כיול ל־4 ביט עבור מערכות עצמאיות בשטח.

איפה זה נופל

החיסרון המרכזי לקורא הישראלי הוא השפה, המודל תומך רשמית באנגלית בלבד ולא מיועד לעברית. בנוסף, הוא לא מקבל ערוץ שקיפות בתמונות, ומוגבל ל־16 אלף טוקנים משולבים של קלט ופלט יחד. בבדיקות של OCRBenchV2 בסינית הוא הגיע ל־37.9 אחוזים בלבד לעומת 60.1 אחוזים באנגלית, כך שמחוץ לאנגלית הביצועים שלו נופלים דרמטית. כמו כן, קיים כבר דגם Nemotron Nano v2 חדש יותר בנפח 12B.

איך מריצים

במשקל של 16.3 גיגה-בייט בגרסת המקור, תצטרכו כרטיס מסך עם לפחות 24 גיגה-בייט זיכרון כדי להריץ אותו בלי שייחנק. אנבידיה בדקה אותו על חומרת H100 עם מנוע TensorRT-LLM, אבל אפשר להריץ אותו גם דרך ספריית transformers הרגילה בלינוקס. שימוש בקוונטיזציה של 4 ביט דרך TinyChat מאפשר לדחוף אותו למחשבים ניידים ולכרטיסי Jetson Orin.

אם אין לכם כרטיס גרפי מתאים במערך השרתים או שאתם לא צריכים פרטיות מוחלטת של המידע, עדיף לפנות ל־API של אנבידיה במקום להחזיק תשתית ייעודית שתעלה הרבה יותר.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="nvidia/Llama-3.1-Nemotron-Nano-VL-8B-V1")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 16.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors17.4 GB
• tokenizer.json17.2 MB
• images/tech.png222.1 KB
• images/table.png131.0 KB
• tokenizer_config.json52.9 KB
• images/example1a.jpeg14.9 KB
• modeling.py14.1 KB
• images/example1b.jpeg12.1 KB
• config.json7.7 KB
• README.md7.5 KB
• image_processing.py4.8 KB
• explainability.md3.5 KB
• configuration.py2.3 KB
• examples.py2.0 KB
• .gitattributes1.7 KB
• bias.md1.4 KB
• safety.md1.3 KB
• privacy.md1.2 KB
• special_tokens_map.json296 B
• preprocessor_config.json283 B

הרישיון

השימוש כפוף לשילוב בין הרישיון הפתוח של אנבידיה לבין רישיון הקהילה של Llama 3.1. מותר להשתמש בו לצרכים מסחריים, אך יש לעמוד בכל תנאי השימוש והמגבלות של מטא ואנבידיה, כולל חובת ציון המקור בנוסח Built with Llama.

הרישיון המלא בעמוד המודל ↗